AnyWorld: 因子分解された自己中心的世界モデルによるクロス身体汎化

AnyWorldは、単一の人間のインタラクションを多様なロボット固有のロールアウトに拡張する、クロスエンボディメント世界モデルフレームワークである。アクション、カメラ、エンボディメントの3要素にインタラクションを分解し、それぞれを独立に再構成することで、ペアの人間-ロボットデモなしに、ロボットドメインのデータを生成する。大規模な人間のインタラクションプリトレーニングと混合エンボディメントのファインチューニングで訓練される。

従来のロボット学習は、データ量と多様性の不足が課題であり、特にエンボディメント、視点、シーンの多様性が欠けていた。人間のegocentricビデオは豊富な物理的インタラクションを提供するが、単一の身体、カメラ軌道、環境しか捉えられない。AnyWorldは、この狭い経験を分解し再構成することで、ペアデータなしにロボット固有のデータを生成できる点が新しい。

手法の核は、インタラクションをアクション制御、カメラ制御、エンボディメントコンテキストの3要素に分解することである。アクション制御は動作構造を捉え、カメラ制御は視点の進化を指定し、エンボディメントコンテキストは動作する身体とそのインタラクション幾何学を定義する。この分解により、エンボディメント、視点、シーンの要素を独立に再構成でき、単一モデルで多様なロボットドメインのデータを生成できる。

RoboCasa GR1テーブルトップベンチマークと実機IRONヒューマノイドロボットで、生成データが操作性能を向上させることを実証した。さらに、ペアのない人間の経験をロボット固有のビデオ-アクションペアに再構成し、ポリシーのギャップをターゲットにできるかテストした。制御されたIRON介入により、誤った完了事前分布を修正し、言語に基づく空間ターゲット選択を確立した。アクションのみの反事実介入では後者を確実に学習できず、アクションのキャリブレーションと視覚的再構成の両方が必要であることを示した。

要旨からは、分解の一般性や他のエンボディメントへの適用範囲、生成データの品質の限界、実世界でのスケーラビリティなどについての議論は不明である。また、アクションと視覚の再構成の必要性は示されたが、その相互作用の詳細や、他のタスクでの有効性については言及されていない。

要旨で参照されている関連研究は明示されていないが、同分野の定番として、世界モデル（World Models）、クロスエンボディメント学習（Cross-Embodiment Learning）、人間のビデオからのロボット学習（Learning from Human Videos）、拡散モデルによるビデオ生成（Diffusion Models for Video Generation）などが挙げられる。