MobileWAM: 世界行動モデルをチェーン・オブ・フォーサイトで移動操作に橋渡しする

MobileWAMは、ビデオ生成バックボーンに基づくWorld Action Models (WAMs)を移動操作タスクに拡張するためのアーキテクチャとトレーニング手法を提案する。移動操作は、シーンスケールのダイナミクスの中で移動と全身操作を同時に要求するが、従来のWAMsはテーブルトップ操作に限定されていた。MobileWAMは、事前学習済みのビデオ拡散トランスフォーマーと軽量なアクションエキスパートを層ごとのジョイントアテンションで融合するmixture-of-transformersアーキテクチャを導入し、インターネット規模のモーションプライアを全身制御に変換する。さらに、中間表現が将来の潜在チャンクの連鎖を逐次予測するChain-of-Foresight (CoF)を提案し、ビデオとアクションの分離されたデノイジングスキームと組み合わせる。推論時には、WAMは純粋な現在フレームエンコーダとして機能し、フォアサイトチェーンとビデオ生成は破棄されるため、ポリシーレベルのコストのみが残る。

先行研究のWAMsはテーブルトップ操作に限定されており、移動操作のシーン規模のダイナミクスや全身調整に対応できなかった。また、移動操作の既存手法はダイナミクスを考慮しない視覚エンコーダと手作りの調整に依存していた。MobileWAMは、事前学習済みのビデオ拡散トランスフォーマーを活用して移動操作に適用し、移動と操作の異種ダイナミクスを調和させるために、アクションエキスパートの各フィードフォワード層を共有・移動・操作の3エキスパートのmixture-of-expertsにすることで、モーションインテントに基づくソフトなルーティングを実現している点が新しい。また、CoFによる中間表現の密な監視は、ビデオとアクションの分離デノイジングと自然に組み合わさる。

手法の核は、1) mixture-of-transformersアーキテクチャ：事前学習済みのビデオ拡散トランスフォーマーと軽量なアクションエキスパートを層ごとのジョイントアテンションで融合し、インターネット規模のモーションプライアを全身制御に変換する。2) アクションエキスパートの各フィードフォワード層を3エキスパート（共有、移動、操作）のmixture-of-expertsにし、アクショントークンのモーションインテントによってソフトにルーティングする。3) Chain-of-Foresight (CoF)：中間表現が将来の潜在チャンクの連鎖を逐次予測し、各ステップは前のステップに条件付けられる。これにより監視を密にする。4) デプロイ時には、WAMは純粋な現在フレームエンコーダとして機能し、フォアサイトは勾配を通じてのみ作用するため、推論時にはフォアサイトチェーンとビデオ生成は破棄され、ポリシーレベルのコストのみが残る。

有効性は、ManiSkill-HABベンチマークでの最先端の移動操作ポリシーとの比較と、実機のARX Lift2移動マニピュレータへのファインチューニングによって検証された。多様なタスクで強い汎化を示したと報告されている。具体的な数値や比較の詳細は要旨からは不明。

要旨からは、提案手法が移動操作におけるWAMsの適用範囲を拡張し、既存手法を上回る性能を示したことが議論の中心である。しかし、CoFの計算コストや、ビデオ生成を破棄することによる潜在的な限界、実機での汎化の限界などについては要旨からは不明。また、mixture-of-expertsのルーティングの解釈性や、異なるモーションプライアの影響についての議論も要旨には含まれていない。

要旨で参照されている関連研究として、World Action Models (WAMs)の基盤となるビデオ生成バックボーンを用いたロボット学習の研究、およびManiSkill-HABベンチマークで比較された最先端の移動操作ポリシーが挙げられる。具体的な論文名は要旨にないため、同分野の定番として、ビデオ生成に基づく世界モデルや、移動操作のための視覚エンコーダと制御ポリシーに関する研究を読むことが推奨される。