CLAMP: 視覚言語組み込みプランニングのための制約付きデコーディング

CLAMPは、凍結されたVision-Language Model (VLM)をプランナーとして用いる際に、シーン情報とシンボリックな行動モデルをデコーディング時の制約として組み込む、マルチモーダル制約基盤フレームワークである。初期観測を用いてオブジェクト参照をシーン内のものに制限し、シンボリックな行動モデルが状態遷移とゴールを指定する。デコーディング中、ハードマスクが無効な次のトークン候補を排除し、Hidden Markov Model (HMM)ベースのワールドステート先読みモジュールが、行動の前提条件とゴール到達可能性に基づいて残りの実行可能な候補の確率を再重み付けする。これにより、VLMの言語事前分布を保持しつつ、視覚的にサポートされない、安全でない、または実行不可能な候補がプランに入るのを防ぐ。未見のタスクや環境では、テスト時に凍結VLMからサンプリングしたラベルなし継続を用いてHMMを適応させる。

従来のembodied planningでは、VLMが流暢なプランを生成するが、視覚的に観測されないオブジェクトを参照したり、利用できないアフォーダンスを必要とする行動を選択したり、構文や行動制約に違反するなど、実行不可能なプランを生成することがあった。CLAMPは、デコーディング時にシーン証拠を制約として変換することで、この問題に取り組む。既存の手法がVLMの出力を後処理で修正するのに対し、CLAMPは生成プロセス自体に制約を組み込み、ハードマスクとHMMベースの先読みにより、実行可能性を考慮したトークン選択を実現する点が新しい。また、テスト時にラベルなしでHMMを適応させることで、未見のタスクや環境への一般化を図る。

CLAMPの手法の核は、デコーディング時制約の統合にある。まず、初期観測からシーン内のオブジェクトを特定し、VLMの生成するオブジェクト参照をシーン内のものに制限する。次に、提供されたシンボリックな行動モデルを用いて、状態遷移とゴールを定義する。デコーディング中は、ハードマスクを用いて、シーンに存在しないオブジェクトや、現在の状態で前提条件を満たさない行動に対応するトークンを排除する。さらに、HMMベースのワールドステート先読みモジュールが、各候補トークンについて、その後の状態遷移とゴール到達可能性を評価し、確率を再重み付けする。これにより、VLMの言語的な流暢さを保ちつつ、実行可能なプランのみが生成される。テスト時には、凍結VLMからサンプリングしたラベルなし継続を用いてHMMの遷移確率を適応させ、未見の環境での性能を向上させる。

実験は、VLABench、SafeAgentBench、TaPAの3つのベンチマークで実施された。結果、シーンに基づく制約がオブジェクト接地と安全性を向上させることが示された。また、残存する失敗の大部分は、知覚エラーまたは制約仕様の不一致に起因することが明らかにされた。具体的な数値や比較対象は要旨からは不明だが、これらのベンチマークでの性能向上が確認された。

議論として、CLAMPの有効性はシーン理解とシンボリックな行動モデルの正確さに依存する。知覚エラーが発生すると、制約が誤って適用され、プランの品質が低下する可能性がある。また、制約仕様が実際の環境と一致しない場合、不適切な制約が生成を妨げる可能性がある。要旨では、残存する失敗の原因として知覚エラーと制約仕様の不一致が挙げられており、これらの改善が今後の課題となる。さらに、HMMの適応はラベルなし継続に依存するため、その品質が適応の効果に影響する可能性がある。

次に読むべき論文は、要旨で参照されているVLABench、SafeAgentBench、TaPAの各ベンチマークを提案した論文、および関連するembodied planningやVLMのデコーディング制約に関する研究。具体的には、VLMを用いたプランニングの既存手法や、制約付きデコーディングの一般的な手法（例：Constrained Beam Search）を扱った論文が挙げられる。