Motus2: 巧みな操作のための自己進化型汎用世界モデル

Motus2は、器用な操作（dexterous manipulation）のための自己進化型の汎用世界モデルである。単一のモデルが共有重みを持ち、ポリシー（world-action model）、シミュレータ（action-conditioned world model）、評価器（value model）の3つの制御インターフェースを提供する。ポリシーが候補となるアクションチャンクを提案し、シミュレータがその視覚的結果を予測し、評価器が予測結果を評価する。これらが結合して閉じた意思決定・学習ループを形成し、ポリシーの改善を可能にする。データスケーリングとして、大規模な単眼の一人称視点データから同期ステレオの一人称視点データへ進み、ロボット軌道と人間とロボットのアライメントデータを用いたロボット領域適応を行う。さらに、スライディングウィンドウコンテキストのグローバル自己回帰拡張とハイブリッドメモリ拡張を研究し、接触認識制御のための触覚フィードバックを追加し、ステレオ視覚、双腕、双ロボットハンド、触覚センシングを備えた完全生体模倣プラットフォーム上で実装される。

既存の世界モデルは通常、ワールドシミュレータにアクション出力ヘッドを追加するだけで、ポリシー改善のための閉じた意思決定・学習ループに結合していない。Motus2は、ポリシー、シミュレータ、評価器を単一モデル内で結合し、閉ループを形成することで、失敗や準最適なインタラクションをダイナミクスモデリングと価値学習の証拠として活用できる点が新しい。また、データスケーリングにおいて、単眼からステレオへの進化、ロボット領域適応、触覚フィードバックの統合など、総合的なアプローチを取っている点が先行研究と異なる。

手法の肝は、単一モデルが3つのインターフェース（ポリシー、シミュレータ、評価器）を共有重みで提供し、それらを結合して閉じた意思決定・学習ループを形成することである。ポリシーはアクションチャンクを提案し、シミュレータはその視覚的結果を予測し、評価器は予測結果を評価する。このループにより、専門家デモンストレーションからアクション学習を行い、失敗や準最適なインタラクションからダイナミクスと価値学習を行う。データスケーリングでは、単眼からステレオへのデータ拡張、ロボット領域適応、触覚フィードバックの追加、スライディングウィンドウコンテキストの拡張（グローバル自己回帰、ハイブリッドメモリ）が含まれる。

要旨からは、具体的な検証方法（ベンチマーク、比較実験、実機評価など）は明記されていない。ただし、完全生体模倣プラットフォーム上での実装が述べられており、実機での検証が行われた可能性が示唆されるが、詳細は不明である。

要旨からは、議論や限界についての具体的な記述はない。ただし、自己進化型のループにおける安定性や、データスケーリングのコスト、触覚フィードバックの統合による複雑性などが潜在的な課題として考えられるが、要旨からは不明である。

要旨で参照されている先行研究や関連手法は明示されていないが、世界モデル、dexterous manipulation、自己進化型エージェントに関する一般的な研究が関連する。具体的には、World Models (Ha & Schmidhuber)、Dreamer (Hafner et al.)、RoboCat (Garcia et al.)、UniDexGrasp (Xu et al.) などが考えられるが、要旨からは不明である。