HarnessWAM: 世界行動モデルにおける予測と熟考の橋渡し

HarnessWAMは、World Action Models (WAMs) の予測と実行のギャップ（prediction-deliberation gap）を埋めるためのエージェント型フレームワーク。WAMsは環境ダイナミクスとロボットのアクションを同時に学習するが、複雑な具現化タスクにはグローバルな計画、状態維持、実行検証、失敗回復が必要。HarnessWAMは、視覚言語モデルベースのTask Managerを用いて、エビデンスに基づくシーン信念と構造化タスクグラフを維持し、能力条件付き実行可能空間投影により、オープンエンドな意味的計画を原子スキル列に制約する。実行中は、イベント駆動の二重タイムスケールフィードバックループを採用し、軽量な進捗推定器が高頻度の実行エビデンスを提供し、Task Managerが重要なマイルストーンでタスクの進行、追加観測、計画修正、局所回復を決定する。これにより、サブタスク失敗後の状態回復と、獲得済みシーン知識を破棄せずに実行再開を可能にする。

先行研究のWAMsは有限ホライズンの予測とアクション生成に焦点を当てており、複雑な具現化タスクに必要なグローバル計画や失敗回復が欠けていた。HarnessWAMは、モデル外部の構造化状態維持とクローズドループのエージェント的決定を導入することで、WAMsの局所制御能力を、計画可能・検証可能・回復可能な具現化タスク実行に拡張した点が新しい。

手法の肝は、視覚言語モデルベースのTask Managerによるエビデンスに基づくシーン信念と構造化タスクグラフの維持、能力条件付き実行可能空間投影による意味的計画の原子スキル列への制約、そしてイベント駆動の二重タイムスケールフィードバックループ。軽量な進捗推定器が高頻度の実行エビデンスを提供し、Task Managerがマイルストーンで観測・タスク状態・相互作用履歴を統合して、タスク進行、追加観測、計画修正、局所回復を決定する。

RoboMemArenaでフルタスク成功率59.6%、サブタスク成功率69.9%、RoboCerebra IdealでSR 23.7%を達成し、state-of-the-artを更新した。これにより、モデル外部の構造化状態維持とクローズドループのエージェント的決定が有効であることを検証した。

要旨からは、HarnessWAMの限界や議論点は明示されていない。ただし、WAMsの局所制御能力を拡張するアプローチであるため、モデル外部の状態維持に依存することのオーバーヘッドや、視覚言語モデルの推論コスト、タスクグラフの複雑さなどが潜在的な課題として考えられるが、要旨からは不明。

要旨で参照されている関連研究は、World Action Models (WAMs) とRoboMemArena、RoboCerebra Idealのベンチマーク。次に読むべき論文としては、WAMsの基礎論文や、RoboMemArena、RoboCerebraの提案論文が挙げられる。