世界モデル2026/8/18arXiv:2608.18077v1

Hydra-0: 汎用世界モデリングと制御のためのアクションフロー

Hydra-0: Action Flow for Generalist World Modeling and Control

ロボットの動作をピクセル運動として表現するアクションフローを用いた汎用世界モデルを提案し、動作誤差を大幅に低減し、ゼロショット合成やデータ効率的な適応を実現した。

詳しい要約

1. どんなもの？

Hydra-0は、ロボットのアクションをピクセルモーション（画素の動き）として表現する「action flow」に基づく汎用世界モデルです。この共有視覚インターフェースにより、異なる身体性、タスク、環境、ビデオ生成バックボーンを横断して、アクションの結果を学習し、世界モデリングと制御を実現します。

2. 先行研究と比べてどこがすごい？

従来のアクション条件付きベースラインと比較して、ロボットのモーションエラーを90.4%、オブジェクトのモーションエラーを60.2%削減します。さらに、ゼロショット合成とデータ効率的な適応をサポートし、RoboLabベンチマークで再現成功率と高い相関（r=0.96）を達成します。

3. 技術・手法の肝は？

手法の核心は、ロボットのアクションをピクセルモーションとして表現する「action flow」を導入し、これを世界モデルの条件付けに用いる点です。これにより、異なるデータソースを統一的な視覚表現で扱い、汎用的な世界モデルを学習します。また、逆モードとして、人間のデモから得たオブジェクトフローをロボットのモーションに変換する「world action model」を発見し、タスク固有の専門家デモなしで実行可能なアクションを生成します。

4. どうやって有効だと検証した？

有効性は、アクション条件付きベースラインとの比較実験で、ロボットモーションエラーとオブジェクトモーションエラーの大幅な削減を確認しました。また、RoboLabベンチマークで再現成功率とのPearson相関r=0.96を達成し、オープンループポリシー評価の有効性を示しました。さらに、ゼロショット合成とデータ効率的な適応の能力も検証されています。

5. 議論はある？

要旨からは、action flowの表現が異なる身体性やタスク間でどの程度一般化するか、また実世界のロボット制御への適用可能性や限界についての詳細な議論は不明です。また、逆モードのworld action modelが生成するアクションの精度や、複雑なタスクでの性能についても要旨からは不明です。

6. 次に読むべき論文は？

要旨で参照されているRoboLabベンチマークに関する論文、およびaction flowや世界モデルに関連する研究（例：World Models、Video Generation for Control）が挙げられます。具体的には、RoboLabベンチマークの提案論文や、ビデオ生成を用いたロボット制御の先行研究（例：UniPi、VideoGPT）が関連します。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hongyu Li, Bowen Wen, Xinghao Zhu, Yixuan Wang, Yilun Du, Yunzhu Li, George Konidaris, Stan Birchfield, Soha Pouya, Chenran Li, Yan Chang

分類: cs.RO

原文アブストラクト

We introduce Hydra-0, a generalist world model conditioned on action flow, which represents robot actions as pixel motion. This shared visual interface enables generalist world modeling and control by learning action consequences across embodiments, tasks, environments, and video-generation backbones. Our best configuration achieves 90.4% lower robot-motion error and 60.2% lower object-motion error than our action-conditioned baseline, while supporting zero-shot composition and data-efficient adaptation. On the RoboLab benchmark, Hydra-0 achieves a Pearson correlation of r=0.96 between replayed and reference success rates. Finally, we uncover an emergent inverse mode of this interface: a world action model that predicts compatible robot motion from desired object flow transferred from a human demonstration. A trained action head maps the resulting latent features to executable actions without requiring task-specific expert robot demonstrations. Together, these results demonstrate the potential of action flow as a shared control interface connecting heterogeneous training data, open-loop policy evaluation, and robot control.

arXivで原文を読む →arXiv概要ページ

← 論文一覧