Can Vision-Language Models Assess Proxemic Risk from Egocentric Robot Images?

本論文は、ロボットの自己中心視（egocentric）画像から近接リスク（proxemic risk）を評価するために、3つのオープンソースのVision-Language Models（VLMs）—InternVL、Qwen-VL、SmolVLM—を用いて、画像を4つの危険レベルに分類するタスクを検証した研究である。プロンプト戦略3種とQLoRAによるファインチューニング（2ラウンド）を比較し、層化ランダムベースラインと対比している。

先行研究では、VLMの一般的な視覚言語タスクや、ロボットナビゲーションにおける物体認識などが扱われてきたが、近接リスクのような細粒度の空間的推論を必要とするタスクへの適用は十分に検討されていなかった。本研究は、複数のVLMを体系的に比較し、プロンプト戦略とファインチューニングの効果を評価することで、VLMの近接リスク推論能力の限界を明らかにした点が新しい。

手法の肝は、3つのVLM（InternVL、Qwen-VL、SmolVLM）に対して、3種類のプロンプト戦略（基本、詳細、高度）を適用し、さらにQLoRAによるファインチューニングを2ラウンド行った点である。また、人物の位置特定（person localization）の分析を行い、危険分類の正しさと空間的接地（spatial grounding）の対応関係を調べた。

有効性の検証は、自己中心視のロボット画像データセットを用いて、4つの危険レベル分類の精度を層化ランダムベースラインと比較することで行った。ファインチューニングなしでは全モデルがベースラインに近い性能だったが、ファインチューニングにより全体的にわずかな改善が見られた。特に、Qwen-VLは高度なプロンプトで高危険ケースの再現率が他モデルより大幅に高かった。

議論として、正しい危険分類が必ずしも人物の位置特定の正確さに対応しないことが示され、モデルが関連領域に注意を向けずに安全ラベルを生成する可能性が指摘された。また、現在のVLMは細粒度の近接推論と空間的接地に限界があるが、対象を絞ったプロンプトとファインチューニングにより、選択されたモデルで高危険検出が改善できることが示された。

要旨からは、次に読むべき具体的な論文は不明であるが、関連する分野として、VLMの空間的推論能力の評価、ロボットナビゲーションにおける安全性、プロンプトエンジニアリング、QLoRAなどのパラメータ効率的ファインチューニング手法に関する研究が挙げられる。