Being-M0.7: ヒューマノイドロボットのための潜在世界行動モデル

- ヒューマノイドロボットの loco-manipulation のための latent world-action model である Being-M0.7 を提案。 - 人間の video と motion の混合モダリティデータから視覚運動 prior を学習し、humanoid 制御に転移。 - pre-training、robot mid-training、action post-training の3段階で構成。 - 10,000時間以上の人間中心データを収集し、video-only、motion-only、paired video-motion を統合。 - 将来の latent visual state と motion の同時予測により、視覚表現に将来の運動情報をエンコードさせる。

- 従来はロボット実演データが乏しく、人間の video や motion データは video か motion の片方のみが多い。 - また人間の motion はそのままロボットの実行可能な action にはならないという課題があった。 - 本研究は混合モダリティの人間データから視覚運動 prior を学習し、humanoid 制御に転移する点が新しい。 - 比較ベースラインの中で SIMPLE において最高の aggregate success rate を達成。 - 実世界の Unitree G1 loco-manipulation タスクでは最強ベースラインと同等の性能を示した。

- 10,000時間以上の人間中心データから video-only、motion-only、paired video-motion を統合したコーパスを構築。 - pre-training では将来の latent visual state と motion を同時予測し、視覚表現に将来の運動情報をエンコード。 - robot mid-training で粗い prior をロボットの視点と身体動態に適応。 - action post-training では action expert が、凍結・適応済み prior からの視覚予測表現と現在の画像・proprioception を gated cross-attention で統合。 - 予測コンテキストを実行可能な全身コマンドに接地させる。

- SIMPLE ベンチマークで比較ベースライン中最高の aggregate success rate を達成。 - 実世界の Unitree G1 loco-manipulation タスクで最強ベースラインと同等の性能を確認。 - これにより、提案手法の有効性をシミュレーションと実機の両面で検証。

- 要旨からは、限界や議論の詳細は不明。 - 混合モダリティデータの活用や転移学習の有効性は示唆されるが、失敗事例や計算コストなどは言及されていない。

- 要旨で参照・比較されている研究は明示されていない。 - 関連手法として、human video や motion からのロボット学習、latent world model、humanoid loco-manipulation の定番研究が挙げられる。