VLA2026/8/8arXiv:2608.08023v1

4D-WAM: 軌跡フィールドによる世界行動モデルへの時空間認識の注入

4D-WAM: Infusing Spatiotemporal Awareness into World Action Models through Trajectory Fields

ロボットの行動生成と動画予測を統合する世界行動モデルに、3次元軌跡フィールドの時空間知識を表現整合で注入する訓練戦略を提案し、空間理解と実行精度を向上させた。

詳しい要約

1. どんなもの？

4D-WAMは、World Action Models (WAMs) に3D trajectory fieldsからの時空間知識を注入する、モデル非依存の訓練戦略を提案する。WAMsはビデオ予測と行動生成を統合するが、2Dピクセル空間でビデオを表現するため、ロボットの行動が実行される3D空間との表現ギャップがある。4D-WAMは、motion alignmentとdestination alignmentという2つの相補的な目的関数を用いて、表現アライメントを通じて時空間知識を注入し、軌跡レベルの時空間表現を学習させる。

2. 先行研究と比べてどこがすごい？

先行研究のWAMsは2Dピクセル空間でビデオを表現し、3D空間との表現ギャップがあった。最近の3Dアプローチは3D情報を導入するが、3D構造のダイナミクスを十分に活用できていない。4D-WAMは、3D trajectory fieldsから時空間知識を注入することで、局所的な4D認識と長期的な目標ガイダンスを提供し、空間理解、実行精度、ロバスト性、汎化、多様性を向上させる点が新しい。

3. 技術・手法の肝は？

手法の肝は、2つの相補的な目的関数を用いた表現アライメントである。1) motion alignment: 隣接フレーム間の時間的特徴変化を整列させ、局所的な4D認識をモデルに構築する。2) destination alignment: ソースフレームから最終目的地を推論するよう、それらのattention-like類似度分布のギャップを最小化する。これらにより、局所的なモーション監視と長期的なゴールガイダンスを提供し、軌跡レベルの時空間表現を学習する。

4. どうやって有効だと検証した？

検証は、異なるベースモデルを用いた広範なin-distributionおよびout-of-distribution実験によって行われた。実験では、空間理解、実行精度、ロバスト性、汎化、多様性の改善が示された。具体的なデータセットやベースラインは要旨からは不明。

5. 議論はある？

要旨からは、提案手法の限界や議論点は明示されていない。ただし、モデル非依存の訓練戦略であるため、様々なWAMsに適用可能であるが、3D trajectory fieldsの取得コストや、アライメントの計算コストなどが潜在的な課題として考えられるが、要旨には記載がない。

6. 次に読むべき論文は？

要旨で参照されている先行研究として、World Action Models (WAMs) や、3D情報を導入した最近の3Dアプローチが挙げられる。具体的な論文名は不明だが、関連分野の定番として、world models、video prediction、action generation、3D representation learningに関する論文を読むとよい。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lishan Yang, Wenxuan Song, Xi Wang, Pingyue Sheng, Zheng Fang, Ziyang Zhou, Junjie He, Haodong Yan, Jiayi Chen, Nan Sun, Qiao Sun, Lingqiao Liu, Yan Wang, Yuxiang Gao, Feras Dayoub, Haoang Li

分類: cs.RO

原文アブストラクト

Building on recent advances in world models, World Action Models (WAMs) jointly model video prediction and action generation. However, they typically represent videos in 2D pixel space, creating a representation gap with 3D space in which robotic actions are executed. Recent 3D approaches introduce 3D information, but fail to fully exploit the dynamics of 3D structures. In this work, we propose 4D-WAM, a model-agnostic training strategy that injects spatiotemporal knowledge from 3D trajectory fields into WAMs through representation alignment. To this end, we introduce two complementary objectives: 1) motion alignment, which aligns temporal feature variations across adjacent frames and encourages the model to build local 4D awareness during training, and 2) destination alignment, which guides the model to infer the final destination from the source frame by minimizing the gap between their attention-like similarity distributions. Together, these objectives provide both local motion supervision and long-horizon goal guidance, enabling WAMs to learn trajectory-level spatiotemporal representations. Extensive in-distribution and out-of-distribution experiments across different base models demonstrate the model's improvements in spatial understanding, execution precision, robustness, generalization, and versatility.

arXivで原文を読む →arXiv概要ページ

← 論文一覧