日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.36840

Trace-WAM: 3D運動予測で行動を学習するワールドアクションモデル

Trace-WAM: Learning to Act via 3D Motion Prediction for World Action Models

シェア:XThreadsFacebookLINEはてブBluesky

未来の3D運動予測を補助タスクとして映像・行動学習に組み込み、操作に重要な物体とロボットの動きを表現に反映させるTri-MoT構成のワールドアクションモデルを提案。分布外汎化とデモ不足時の性能向上を示した。

詳しい要約

1. どんなもの？

- World Action Models (WAMs) の枠組みで、ロボット制御のための表現学習を行う手法。 - 未来の視覚予測と action generation を結合する既存の WAMs に対し、future 3D motion prediction を補助目的として追加する。 - これにより manipulation に本質的な robot と task-relevant objects の時空間変化を直接表現に取り込む。

2. 先行研究と比べてどこがすごい？

- 従来の WAMs は future-video prediction が scene 全体の appearance や background の再構成も要求し、manipulation に重要な変化への焦点が薄れる問題があった。 - Trace-WAM は future 3D motion prediction を補助 objective として加え、interaction dynamics と spatial changes を直接監督する点が新しい。 - 特に Fast-WAM に対し、限られた demonstrations や distribution shifts の条件下で明確な改善を示す。

3. 技術・手法の肝は？

- 三枝の Mixture-of-Transformer (Tri-MoT) アーキテクチャを採用し、video prediction・motion prediction・action generation を jointly に学習する。 - motion expert が current visual features から future trajectories を予測し、その motion supervision が action generation 用の表現を形成する。 - 監督信号は temporal point correspondence に加え、image-plane displacement と depth change を含む。 - action expert は predicted trajectories を入力に取らないため、推論時は current-observation policy path（単一の visual forward pass と action denoising）を維持する。

4. どうやって有効だと検証した？

- RoboCasa-GR1、LIBERO、LIBERO-Plus の3つのベンチマークで実験。 - in-distribution 性能と out-of-distribution generalization の両方を評価。 - 限られた demonstrations と distribution shifts の設定で Fast-WAM に対する明確な改善を確認。

5. 議論はある？

- 要旨からは不明（限界や失敗ケース、計算コスト、motion supervision の寄与の詳細な分析については記述がない）。

6. 次に読むべき論文は？

- Fast-WAM（本論文で比較対象として明示）。 - World Action Models (WAMs) の代表的手法。 - LIBERO / LIBERO-Plus / RoboCasa-GR1 を用いる関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xu Hu, Changjie Wu, Linzhe Shi, Hang Zhang, Chen Yang, Lingjun Zhang, Guowen Zhang, Mu Xu, Junran Peng, Qing Li, Zhaoxiang Zhang

分類: cs.RO

原文アブストラクト

World Action Models (WAMs) learn representations for robot control by coupling future visual prediction with action generation. Successful manipulation depends primarily on how the robot and task-relevant objects evolve, whereas future-video prediction must also reconstruct the appearance and background of the entire scene. We therefore propose Trace-WAM, which augments video-action learning with future 3D motion prediction as an auxiliary objective. This objective supervises temporal point correspondence together with image-plane displacement and depth change, directly describing the interaction dynamics and spatial changes involved in manipulation. To this end, we adopt a three-branch Mixture-of-Transformer (Tri-MoT) architecture to jointly learn video prediction, motion prediction, and action generation. The motion expert predicts future trajectories from current visual features, allowing motion supervision to shape the representations used for action generation. Because the action expert does not consume predicted trajectories, inference retains the current-observation policy path: a single visual forward pass followed by action denoising. Experiments on RoboCasa-GR1, LIBERO, and LIBERO-Plus demonstrate strong in-distribution performance and out-of-distribution generalization, with particularly clear gains over Fast-WAM under limited demonstrations and distribution shifts.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI