AlloEgo-VLM: 視覚言語モデルにおける全中心・自己中心参照枠の曖昧性解消

本研究は、Vision-Language Models (VLMs) が空間記述の参照枠（allocentric と egocentric）の曖昧さを扱う問題に取り組む。新規データセット AlloEgo-View を構築し、それを用いて AlloEgo-VLM フレームワークを開発する。これは、曖昧なクエリに対しても参照枠を明確化し、既存の VLM に supervised fine-tuning で統合可能である。さらに、NVIDIA Isaac Sim 上の embodied robotic platform で実世界の open-ended object searching タスクにおける有効性を検証する。

既存の VLM は参照枠や物体の向きに関する訓練が不十分で、視点依存のクエリに対して一貫性のない応答を生成する。本研究は、構造化された空間表現に基づく視点別の記述を含むデータセットを構築し、参照枠の曖昧さを明示的に扱う点で先行研究より進んでいる。また、既存の VLM に容易に統合できるフレームワークを提供する点も新しい。

手法の肝は、AlloEgo-View データセットの構築と、それに基づく supervised fine-tuning による AlloEgo-VLM の開発である。データセットは (image, query, view-specific answer) の三つ組からなり、各記述は structured spatial representation に従い、scene description、reference object、target object、それらの orientation、reference frame、view type を注釈する。これにより、モデルは曖昧なクエリでも文脈から適切な参照枠を推定できるようになる。

実験では、現在の VLM が視点依存クエリに対して限界があることを示し、AlloEgo-VLM の曖昧さ解消能力が強いことを実証した。さらに、NVIDIA Isaac Sim 上の embodied robotic platform にフレームワークを展開し、open-ended object searching タスクで実世界の実現可能性を検証した。

要旨からは、議論の詳細は不明であるが、空間認知の文化的差異や、より複雑な空間関係への拡張、実環境でのロバスト性などが今後の課題として考えられる。また、データセットの規模や多様性に関する限界も議論される可能性がある。

要旨で参照されている研究は明示されていないが、関連分野として、VLM の空間推論、参照枠の認知心理学、embodied AI のナビゲーションなどが挙げられる。具体的には、空間関係を扱う VLM の研究や、参照枠の曖昧さを扱うロボティクスの研究を読むことが推奨される。