PROBE: VLMエージェントによる操作基盤の視覚質問応答

本論文は、実世界の雑然とした環境で物理的な操作を伴わないと答えられない視覚質問応答タスクを新たに定式化したものである。具体的には、ロボットが「私の薬はまだキャビネットにある？」といった質問に答えるために、遮蔽物をどけたり物体を動かしたりしながら動的シーンを推論する必要がある設定をManipulation-Grounded Visual Question Answering (MG-VQA)と定義する。このタスクを評価・学習するためのフレームワークPROBEを提案し、高忠実度テーブルトップシミュレータPROBE-Simと、150タスクからなるベンチマークPROBE-Benchを構築した。さらに、教師モデルから成功軌跡を蒸留して小型のオープンウェイトモデルをファインチューニングする手法PROBE-Agentを導入し、シミュレーションから実世界への転移も検証している。

従来のVLMは静的シーンでの2Dグラウンディングや空間推論、エージェント的なツール使用計画に優れているが、物理的な操作を必要とする動的シーンでの推論は扱っていなかった。本論文は、操作がシーンを変化させ、その変化に応じて推論を更新する必要があるという点で、既存のVQAやembodied AIタスクと一線を画す。また、シミュレータとベンチマークを提供し、フロンティアVLMの系統的な評価と、小型モデルへの蒸留による性能向上を実証した点が新しい。

手法の核は、シミュレータPROBE-Simを用いたベンチマーク構築と、VLMエージェントのファインチューニングレシピPROBE-Agentにある。PROBE-Simは日常物体とロボットマニピュレータ（把持・押し操作）を備えた高忠実度シミュレータで、これを用いて6種類の質問タイプにわたる150タスクのPROBE-Benchを作成した。PROBE-Agentは、強力な教師基盤モデルから成功軌跡を蒸留し、混合データレシピで小型のオープンウェイトモデルをファインチューニングする。このレシピは操作効率の良い質問応答を促進するように設計されている。

有効性の検証は、まずPROBE-Bench上で複数のフロンティアVLMを評価し、エージェント的ツールベース手法が知覚のみのベースラインより平均8.0%高い性能を示すことを確認した。次に、PROBE-Agentでファインチューニングしたモデルが、オフ・ザ・シェルフのエージェントベースラインより平均11.5%向上し、未見の物体や保留タスクへの正の転移を示した。さらに、実世界のテーブルトップ環境にデプロイしてシミュレーションから実世界への転移を検証した。

議論としては、シミュレーションと実世界のギャップが挙げられるが、著者らはsim-to-real転移を実証している。また、ベンチマークのタスク数や多様性、質問タイプの網羅性に関する限界も考えられるが、要旨からは詳細は不明。さらに、蒸留による性能向上は特定のモデルサイズやデータ分布に依存する可能性があり、汎用性については追加の検証が必要かもしれない。

要旨で参照されている関連研究としては、VLMのエージェント的ツール使用やembodied AIのベンチマークが挙げられる。具体的には、VLMの2Dグラウンディングや空間推論に関する研究、ロボット操作のシミュレータ（例：RLBench、Meta-World）やVQAベンチマーク（例：GQA、VQA v2）などが関連する。次に読むべき論文としては、これらの基盤となる研究や、同様の操作を伴うタスクを扱った最近の研究が考えられる。