ニューロシンボリック具現化エージェント

本論文は、長期的な家事タスクを実行するニューロシンボリックエージェントを提案する。このエージェントは、視覚言語モデルと記号的プランニングを組み合わせ、タスク指向の視覚探索と制約付き記号プランニングの2段階で構成される。第1段階では、視覚言語モデルと探索ハーネスが、自己中心視点の観察と接地されたインタラクションから、目標関連の述語とインスタンスの束縛を獲得し、記号的初期状態を生成する。第2段階では、PDDL遷移モデルが、適用可能なアクションを拡張するトークンへのデコーディングを制限し、モンテカルロ木探索がドメイン非依存のプランニングヒューリスティックを用いて実行可能な継続を評価する。生成されたプランは遷移モデル下で実行可能であり、環境への転移は視覚的接地の正確さに依存する。

従来の言語・視覚言語モデルはもっともらしいプランを生成するが、実行可能性を保証しない。本手法は、記号的プランニングの制約と探索を組み合わせることで、プランの実行可能性を構造的に保証する点が新しい。また、大規模モデル（4B-27B）を用いて、VirtualHomeとALFWorldで90%以上の成功率を達成し、最小のエージェントでも27Bの直接視覚ポリシーを大幅に上回る。さらに、制約と探索は相補的であり、単独ではALFWorldのタスクの3分の1未満しか解けないが、組み合わせると95%以上を解くことを示した。

手法の核心は、2段階のパイプラインと制約付きデコーディングにある。第1段階では、視覚言語モデルと探索ハーネスを用いて、環境から述語とインスタンスの束縛を抽出し、記号的初期状態を構築する。第2段階では、PDDL遷移モデルが、現在の状態で適用可能なアクションに対応するトークンのみを生成するようにデコーディングを制限し、モンテカルロ木探索が実行可能なプランを探索する。これにより、プランは遷移モデル下で実行可能であることが保証される。

VirtualHomeとALFWorldの2つの環境で評価した。オープンな4B-27Bモデルを用いて、両環境で90%以上の成功率を達成した。最小のエージェントでも、27Bの直接視覚ポリシーを大幅に上回る性能を示した。また、制約と探索の組み合わせが重要であることを示すため、それぞれ単独の場合と比較し、ALFWorldでは単独では3分の1未満の成功率だが、組み合わせると95%以上になることを確認した。さらに、生成トークン数とモデルが見る画像数が、拡張思考や直接インタラクションよりも少ないことを示した。

残存する失敗は、プラン生成ではなく状態獲得に起因することが示された。つまり、視覚的接地や述語抽出の誤りが主な失敗原因であり、プランニング自体は堅牢である。また、制約と探索は相補的であり、どちらか一方だけでは不十分であることが議論されている。しかし、要旨からは、提案手法の限界や他の環境への一般化についての詳細な議論は不明である。

要旨で参照されている関連研究として、VirtualHomeとALFWorldのベンチマーク、PDDLプランニング、モンテカルロ木探索、視覚言語モデルを用いたプランニング手法が挙げられる。具体的には、VirtualHomeの元論文、ALFWorldの元論文、PDDLの標準的なプランナー、MCTSを用いたプランニング手法、および視覚言語モデルによるプランニングの研究が関連する。