VLA/ナビゲーション2026/8/12arXiv:2608.12515v1

視覚言語モデルはロボットの一人称画像から近接リスクを評価できるか？

Can Vision-Language Models Assess Proxemic Risk from Egocentric Robot Images?

シェア:X Threads Facebook LINE はてブ Bluesky

ロボットの一人称視点画像を4段階の危険度に分類する際、3つの視覚言語モデルの性能を評価し、ファインチューニングやプロンプト戦略の効果を検証した。高危険度の検出には一部モデルで改善が見られたが、空間的根拠付けは不十分だった。

詳しい要約

1. どんなもの？

本論文は、ロボットの自己中心視（egocentric）画像から近接リスク（proxemic risk）を評価するために、3つのオープンソースのVision-Language Models（VLMs）—InternVL、Qwen-VL、SmolVLM—を用いて、画像を4段階の危険レベルに分類するタスクを検証した研究である。プロンプト戦略3種とQLoRAによるファインチューニング（2ラウンド）を比較し、層化ランダムベースラインと対比している。

2. 先行研究と比べてどこがすごい？

先行研究では、VLMの一般的な視覚言語タスクやロボットナビゲーションへの応用が検討されてきたが、自己中心視画像における近接リスクの細粒度分類に焦点を当てた研究は限られている。本論文は、複数のVLMを体系的に比較し、プロンプト戦略とファインチューニングの効果を検証した点、さらに危険分類の正確さと空間的接地（spatial grounding）の関係を分析した点が新しい。

3. 技術・手法の肝は？

手法の肝は、3つのVLM（InternVL、Qwen-VL、SmolVLM）を4段階の危険レベル分類に適用し、3つのプロンプト戦略（基本、詳細、高度）とQLoRAによるファインチューニングを比較した点。また、人物の位置特定（person localization）を分析し、危険分類の正しさと空間的接地の対応を調べた。

4. どうやって有効だと検証した？

有効性の検証は、自己中心視ロボット画像データセットを用いて、各モデル・プロンプト・ファインチューニング条件での分類精度を層化ランダムベースラインと比較した。さらに、高危険ケースの再現率（recall）を評価し、Qwen-VLが高度プロンプトで他モデルより高い再現率を示した。人物位置特定の分析も行った。

5. 議論はある？

議論として、ファインチューニングなしでは全モデルがベースラインに近い性能であり、ファインチューニング後も改善は限定的であることが示された。また、危険分類の正確さと空間的接地が対応しない場合があり、モデルが関連領域に注意を向けずに安全ラベルを生成できることが示唆された。これはVLMの近接推論と空間接地の限界を浮き彫りにしている。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、VLMの評価やロボットナビゲーションへの応用に関する論文が考えられる。具体的には、InternVL、Qwen-VL、SmolVLMの元論文や、QLoRAの手法論文、また自己中心視認識や近接リスク評価に関する既存研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Vladyslava Rudas, Dmytro Kuzmenko

分類: cs.CV, cs.RO

原文アブストラクト

Assessing proxemic danger from a robot's egocentric perspective is critical for safe embodied navigation in human environments and requires both visual and contextual reasoning. We evaluate three opensource vision-language models (VLMs) (\textit{InternVL}, \textit{Qwen-VL}, and \textit{SmolVLM}) on the classification of egocentric robot images into four danger levels, comparing three prompting strategies and two rounds of QLoRA fine-tuning against a stratified random baseline. Without fine-tuning, all models perform near the baseline, while fine-tuning yields only modest overall improvements. However, \textit{Qwen-VL} with an advanced prompt achieves substantially higher recall for high-danger cases than the other models. An analysis of person localization further shows that correct danger classification does not correspond to better spatial grounding, indicating that a model may produce a useful safety label without attending to the relevant region of the scene. These results show that current VLMs remain limited in fine-grained proxemic reasoning and spatial grounding, although targeted prompting and fine-tuning can improve high-danger detection in selected models.

arXivで原文を読む →arXiv概要ページ

← 論文一覧