家庭用デバイスの汎用的視覚基盤探索に向けて

本論文は、家庭用デバイスの操作における汎用的な視覚基盤探索能力を評価するためのベンチマークVGEBenchを提案している。VGEBenchは、静的データセットとは異なり、Logic-Driven State Machineフレームワークを用いて多ターンのインタラクションループをシミュレートし、エージェントが能動的な視覚知覚とフィードバック駆動の修正を通じて目標を達成することを強制する。これにより、Vision-Language Models (VLMs)の汎用的な視覚基盤探索能力を評価する。

既存のembodied explorationパラダイムは、人間が注釈した軌跡からの模倣学習に依存しており、エージェントの汎化能力を著しく制限している。また、既存のベンチマークは明示的な文書や注釈付き軌跡に依存し、機能的なデバイス操作に不可欠な動的なHypothesis-Interaction-Refinementプロセスを無視している。VGEBenchは、このような動的プロセスをシミュレートする初めてのベンチマークであり、静的認識や高次意味推論を超えた、能動的な探索とフィードバック駆動の修正を評価する点で優れている。

VGEBenchはLogic-Driven State Machineフレームワークを採用している。このフレームワークは、デバイスの状態遷移を論理的にモデル化し、エージェントとの多ターンインタラクションをシミュレートする。エージェントは視覚的な観察に基づいて仮説を立て、インタラクションを行い、フィードバックに基づいて仮説を修正するというプロセスを繰り返す。これにより、エージェントの能動的な視覚知覚と状態追跡能力を評価する。

実験では、既存のVLMsをVGEBench上で評価し、その性能を比較している。結果は、既存のVLMsが意味知識を物理的実行に変換することや、長期的な状態追跡を維持することに重大な課題を抱えていることを示している。具体的な数値や比較対象は要旨からは不明だが、ベンチマークの有効性は、既存手法の限界を明らかにすることで示されている。

要旨からは、既存のVLMsがVGEBenchで直面する課題について議論されている。特に、意味知識の物理的実行への変換と長期的な状態追跡の困難さが指摘されている。しかし、具体的な議論の内容や提案手法の限界については要旨からは不明である。

要旨で参照されている研究は、Vision-Language Models (VLMs)、embodied exploration、imitation learning、Hypothesis-Interaction-Refinementプロセスなどである。次に読むべき論文としては、これらの関連分野の定番論文、例えばVLMの基礎モデルやembodied AIのサーベイが挙げられるが、具体的なタイトルは要旨からは不明である。