RoboIRGBench：視覚言語行動モデルにおける暗黙的指示対象接地のベンチマーク

- Vision-Language-Action (VLA) モデルにおける Implicit Referential Grounding (IRG) 能力を評価する manipulation benchmark『RoboIRG-Bench』を提案。 - 既存 benchmark は指示にタスク関連情報が明示されていると仮定するが、実世界では対象・数量・関係が暗黙的に言及される。 - RoboMME を基盤に、11 タスクから派生した 40 変種を含み、direct・reasoning-mediated・spatial・contextual の 4 課題をカバー。 - 異なる memory 機構を持つ代表的な VLA を評価し、referential robustness gap を明らかにする。

- 既存 benchmark は明示的指示を前提とし、暗黙的参照の回復能力を体系的に評価していない。 - 本研究は IRG を独立した未探索能力として位置づけ、初めて体系的 benchmark を提供。 - 明示的指示で高性能なモデルが、同じ情報を context から回復する必要がある場合に急激に性能低下することを示す。 - reasoning-mediated と spatial 参照が特に困難であることを明らかにし、外部 VLM 使用モデルでも失敗が残ることを示す。

- RoboMME を基に 11 タスクから 40 変種を構築し、direct・reasoning-mediated・spatial・contextual の 4 参照課題を設計。 - IRG は以前に確立された context の保持と検索を要することが多いため、異なる memory 機構を持つ VLA を評価対象とする。 - 外部 VLM を用いるモデルとそうでないモデルを比較し、外部 VLM をより強力なモデルに置き換えても gap が解消しないことを検証。 - Franka Research 3 ロボットアーム上で実世界 manipulation でも検証。

- RoboIRG-Bench 上で代表的な VLA を評価し、referential robustness gap を定量的に確認。 - reasoning-mediated と spatial 参照が特に困難であること、外部 VLM 使用モデルがより robust だが依然重大な失敗を示すことを報告。 - 外部 VLM をより強力なモデルに置き換えても gap が残ることを確認。 - Franka Research 3 ロボットアームで実世界 manipulation を行い、gap が誤った referent grounding と下流の実行失敗として現れることを検証。

- IRG は信頼性の高いロボット指示追従にとって独立かつ未探索の能力であると主張。 - 言語・知覚・推論・行動を robust に統合できる VLA の必要性を強調。 - 外部 VLM の強化だけでは gap が解消しないことを示し、モデル設計上の課題を提起。 - 具体的な限界や今後の課題の詳細は要旨からは不明。

- RoboMME（本 benchmark の基盤） - 代表的な VLA モデル（要旨では具体名が挙げられていないため一般名で記載） - 外部 VLM を用いる VLA モデル - Franka Research 3 を用いた実世界 manipulation 研究