ワールドモデル2026/8/31arXiv:2609.00161

IMPACT: 注意はスケーラブルな相互作用認識ワールドモデル学習のための相互作用マップ

IMPACT: Attention Is the Interaction Map for Scalable Interaction-Aware World Model Training

ワールドモデルの学習において、静的領域が支配的なMSE損失により動的物体の相互作用が過小評価される問題を指摘し、注意マップを用いて損失を再重み付けするフレームワークIMPACTを提案した。

詳しい要約

1. どんなもの？

IMPACTは、拡散ベースのWorld Modelの学習において、物理的に妥当なインタラクション生成を改善するためのフレームワーク。従来のMSE損失によるグローバル平均のdenoising目的関数では、静的コンテンツが支配的になり、動的なオブジェクト領域の教師信号が不足するという問題を指摘し、内部のattention priorと局所的な予測誤差を用いてインタラクションマップを構築し、denoisingの教師信号を再重み付けする。外部表現や推論時の変更を必要とせず、ロボットアームと人間の手の操作タスクで有効性を示す。

2. 先行研究と比べてどこがすごい？

既存のWorld Modelは、物理的インタラクションの生成を改善するために、モーション、ジオメトリ、セマンティクスなどの外部表現で生成プロセスを制約していた。これらの表現は時空間的に密であり、取得には補助推定器や手動アノテーションが必要で、学習のスケーラビリティを制限していた。IMPACTは、学習目的を再考し、外部表現を必要とせずに、内部のattention priorと局所的な予測誤差を利用することで、スケーラブルな学習を実現している点が新しい。

3. 技術・手法の肝は？

IMPACTは、操作対象オブジェクトのトークンに関連するcross-attentionを、アクション条件付き変化の内部時空間priorとして使用する。このpriorから候補領域をサンプリングし、切り離された局所予測誤差でキャリブレーションしてインタラクションマップを構築する。このマップを使用してdenoisingの教師信号を再重み付けする。外部表現や推論時の変更は不要。

4. どうやって有効だと検証した？

ロボットアームと人間の手の操作タスクを含む広範な実験を実施。多様な制御モダリティとDiTバックボーンにわたって、対応するMSE学習ベースラインと比較し、インタラクションの忠実度、物理的妥当性、視覚品質の点で一貫して優れていることを示した。

5. 議論はある？

要旨からは、提案手法の限界や潜在的な欠点についての議論は不明。ただし、外部表現を必要としない点はスケーラビリティに寄与するが、attention priorの品質や、複雑なインタラクションへの一般化についてはさらなる検証が必要かもしれない。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、World Model、拡散モデル、MSE denoising目的関数、DiTバックボーン、ロボット操作、人間の手の操作などが挙げられる。具体的な論文名は不明だが、これらの分野の定番論文（例: World Models, Diffusion Policy, DiTなど）を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rongze Tang, Jianjie Fang, Zhaolu Wang, Ziyou Wang, Xvyuan Liu, Haisheng Su, Xin Zhang, Wei Wu, Chen Gao, Yong Li, Zhibo Chen

分類: cs.AI, cs.RO

原文アブストラクト

World models have made remarkable progress in action-conditioned future prediction for embodied agents, yet still struggle to model physically plausible interactions. Existing approaches address this limitation by constraining the generation process with external representations encoding motion, geometry, or semantics. Obtaining these spatiotemporally dense representations typically requires auxiliary estimators or manual annotations, limiting training scalability. We instead revisit the training objective and identify a supervision-allocation mismatch under the globally averaged mean squared error (MSE) denoising objective: prevalent static content dominates the optimization signal, leaving sparse dynamic-object regions critical to interaction generation disproportionately under-supervised. Motivated by this observation, we introduce IMPACT, a scalable Interaction-aware Model training framework with Prior-guided Attention Calibration and Targeting. IMPACT uses cross-attention associated with manipulated-object tokens as an internal spatiotemporal prior for action-conditioned changes. It samples candidate regions from this prior, calibrates them with detached local prediction errors to construct an interaction map, and uses the map to reweight denoising supervision, requiring neither external representations nor inference-time modifications. Extensive experiments on robot-arm and human-hand manipulation, spanning diverse control modalities and DiT backbones, show that IMPACT consistently outperforms the corresponding MSE-trained baselines, improving interaction fidelity, physical plausibility, and visual quality.

arXivで原文を読む →arXiv概要ページ