世界モデル2026/8/6arXiv:2608.05706

LAWM-3D: 人間のビデオから3D認識潜在アクションを学習し、汎用ロボット世界モデルを実現

LAWM-3D: Learning 3D-Aware Latent Actions from Human Videos for Generalizable Robot World Models

人間のビデオから自己教師ありで3D認識可能な潜在アクションを学習し、ロボットの世界モデルを構築する手法を提案。マルチビュー入力の課題を解決するため、幾何学的整合性とRGB-D再構成を導入。

詳しい要約

1. どんなもの？

LAWM-3Dは、人間のビデオから3D認識可能な潜在アクションを学習し、汎用性の高いロボット世界モデルを構築するための手法を提案する論文である。従来の潜在アクションモデル(LAM)は単視点入力と2Dピクセル空間に依存していたが、LAWM-3Dは多視点ビデオを活用して3D認識可能な潜在アクションを学習する。具体的には、多視点不変の統一アクショントークン化、事前学習済み3D基盤モデルへの特徴量アライメント、非単射的なRGB-D再構成目的の3つの設計を導入し、将来フレームの外観リークやカメラ間の外観差異・視点変動の問題を解決する。大規模な人間ビデオ事前学習とロボット微調整の2段階パラダイムに基づき、世界モデルの生成品質、物理的一貫性、汎化能力を向上させる。

2. 先行研究と比べてどこがすごい？

先行研究のLAMは単視点入力と2Dピクセル空間で動作し、3D認識能力が不足していた。LAWM-3Dは、多視点ビデオを単純にLAMトレーニングに組み込むだけでは不十分であることを示し、その原因を将来フレームの外観リーク、カメラ間の外観不一致、視点変動と特定した。これに対し、3D基盤モデルを活用した幾何学的アライメントと、非単射的なRGB-D再構成目的を導入することで、3D認識可能な潜在アクションを学習する点が新しい。また、2段階の事前学習と微調整パラダイムにより、ロボット世界モデルの性能をSOTAに引き上げている。

3. 技術・手法の肝は？

手法の核心は3つの密結合された設計にある。(1) 多視点不変の統一アクショントークン化: 異なるカメラ視点からの情報を統合し、視点に依存しない潜在アクションを学習する。(2) 幾何学的アライメント制約: 中間エンコーダ特徴を事前学習済み3D基盤モデルにアンカーし、クロスビューの幾何学的対応を明示的に提供する。(3) 非単射的なRGB-D再構成目的: 将来フレームの外観情報からのショートカット学習を防ぎ、LAMが幾何学的に意味のある動きの手がかりに焦点を当てるように強制する。これらの要素は単純に積み重ねるのではなく、統一された動機に基づいて密結合されている。

4. どうやって有効だと検証した？

大規模な人間ビデオ事前学習とロボット微調整の2段階パラダイムに基づき、広範な実験を実施した。提案する3D認識可能な潜在アクションが世界モデルの性能を大幅に向上させ、生成品質、物理的一貫性、汎化能力においてSOTA結果を達成したことを示した。具体的な評価指標やデータセット名は要旨からは不明。

5. 議論はある？

要旨からは、多視点ビデオをLAMトレーニングに組み込むだけでは3D認識が獲得できないという否定的な結果と、その原因分析が議論されている。また、提案手法の各コンポーネントが単純な積み重ねではなく密結合されている点が強調されているが、各設計の個別の寄与や限界についての詳細な議論は要旨からは不明。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、潜在アクションモデル(LAM)の既存研究や、3D基盤モデル、世界モデルに関する研究が挙げられる。具体的には、単視点LAMの先行研究や、3D認識を活用したロボット学習の研究を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiarui Yang, Jiale Zhange, Jiawei Li, Hang Guo, Wen Huang, Jinpeng Wang, Peidong Liu, Shu-Tao Xia

分類: cs.CV

原文アブストラクト

World models enable agents to perform forward rollout and planning without real-world interaction. However, their application in open-world embodied intelligence remains limited by the high cost of action annotations and the heterogeneity of action spaces across platforms. Recently, latent action models (LAMs) have alleviated this bottleneck by learning action representations directly from unlabeled human videos in a self-supervised manner. Nevertheless, most existing LAMs rely on single-view inputs and operate primarily in 2D pixel space, raising a fundamental question: can simply incorporating multi-view videos into LAM training endow the learned latent actions with 3D-aware perception? Our study shows that the answer is negative. The primary reasons lie in future-frame appearance leakage as well as inter-camera appearance discrepancies and viewpoint variations. To address these issues, we propose LAWM-3D, which introduces three tightly coupled key designs: (1) a multi-view invariant unified action tokenization scheme for learning 3D-aware latent actions; (2) a geometric alignment constraint that anchors intermediate encoder features to a pretrained 3D foundation model, thereby explicitly providing cross-view geometric correspondences; and (3) a non-injective RGB-D joint reconstruction objective that prevents shortcut learning from future-frame appearance information, forcing the LAM to focus supervision on motion cues with geometric significance. Importantly, these components are not simply stacked but are tightly coupled through a unified motivation. Built upon a two-stage paradigm of large-scale human video pretraining followed by robot fine-tuning, extensive experiments demonstrate that the proposed 3D-aware latent actions significantly improve world model performance, achieving SOTA results in generation quality, physical consistency, and generalization ability.

arXivで原文を読む →arXiv概要ページ