視覚言語モデルを用いた証拠ゲート型タスク・動作計画

本論文は、自然言語指示から長期的な操作タスクを実行するロボットにおいて、部分観測環境下で目標関連オブジェクトの存在が不確実な場合に、Vision-Language Models (VLMs) と Task and Motion Planning (TAMP) を組み合わせる際の問題を扱う。VLMsの事前知識に依存したサブゴールが観測的裏付けなしに生成され、実行失敗や意図しない結果を招くことを指摘し、これを解決するフレームワーク Evidence Acquisition and Feasibility Gating (EAFG) を提案する。EAFGは、VLMが生成した探索的サブゴールとTAMPベースの実行を通じて視覚的証拠を獲得し、Feasibility Gateを適用して、タスク計画を続行するか、さらなる証拠を獲得するか、停止するかを決定する。

先行研究では、VLMsとTAMPを組み合わせる際、VLMの事前知識に基づくサブゴールがそのまま計画に組み込まれ、部分観測性による不確実性が考慮されていなかった。EAFGは、観測的証拠の獲得を明示的に組み込み、Feasibility Gateによって証拠が不十分な場合に計画を進めず、探索や停止を選択する点が新しい。これにより、曖昧なオブジェクト使用を伴う調理タスクでのレシピ完了率向上や、存在しないオブジェクトを要求する指示での適切な停止判断を実現している。

EAFGの核心は、VLMを用いて探索的サブゴールを生成し、それをTAMPで実行して視覚的証拠を獲得するループと、Feasibility Gateによる意思決定である。具体的には、VLMが現在のシーンと指示に基づいて次のアクション（探索または操作）を提案し、TAMPがその実行可能性を幾何学的に検証する。実行後、新しい観測が得られ、Feasibility Gateがタスク計画の続行、追加証拠の獲得、または停止を決定する。このゲートは、目標オブジェクトの存在確率やタスク達成可能性を評価する。

実験は、調理タスクにおいて、オブジェクトの使用が曖昧な場合と、存在しないオブジェクトを要求する指示の場合で行われた。曖昧な場合では、EAFGがタスク関連オブジェクトを計画前に発見することでレシピ完了率を向上させた。存在しないオブジェクトの場合では、EAFGが適切な停止判断を促進し、そのオブジェクトの操作試行回数を削減した。具体的な数値や比較ベースラインは要旨からは不明。

要旨からは、EAFGの限界や議論についての詳細は不明。ただし、VLMの事前知識に依存しすぎず、観測的証拠を重視するアプローチは、部分観測環境でのロバスト性を高める一方で、探索コストや停止判断の正確性に関するトレードオフが考えられる。また、Feasibility Gateの設計や、VLMの探索サブゴール生成の品質が性能に影響する可能性がある。

要旨で参照されている研究は明示されていないが、関連する分野として、Vision-Language Models (VLMs) と Task and Motion Planning (TAMP) を組み合わせた既存研究（例: LLM-TAMP 統合）や、部分観測下でのロボット計画（例: POMDP-based planning）が挙げられる。具体的には、VLMを用いたタスク計画の研究や、TAMPの不確実性を扱う研究を読むことが推奨される。