日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マニピュレーションarXiv:2611.05023

長期的タスク進展と局所ダイナミクスを分離する世界行動モデル

HiLo-WAM: Decoupling Long-Horizon Task Evolution and Local Dynamics in World Action Models

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作のための世界行動モデルにおいて、長期的なタスクの進展と短期的な局所視覚ダイナミクスを二つのストリームに分離し、統合アーキテクチャで行動生成を改善した研究。

詳しい要約

1. どんなもの？

- World Action Models (WAMs) の一種で、ロボット操作のための視覚ダイナミクスと行動を統合的にモデル化する枠組み - 長期的なタスク進展 (long-horizon task evolution) と局所的な視覚ダイナミクス (local visual dynamics) を分離して扱う点が特徴 - 2つの視覚ストリームを unified dual-DiT architecture で統合し、行動生成を導く - 長期的操作タスク向けのモデル

2. 先行研究と比べてどこがすごい？

- 既存の多くの WAMs は密な短期的視覚ダイナミクスのみをモデル化し、長期的タスク文脈が限定的だった - 予測ホライズンを延ばすと不確実性・計算量が増え、タスク進展と局所ダイナミクスが絡み合う問題があった - HiLo-WAM は両者を分離しつつ相互作用を統合的にモデル化することで、この絡み合いを解消 - 長期的操作性能を向上 (RoboTwin 2.0 で 93.70%、RoboDojo で 17.43 progress score)

3. 技術・手法の肝は？

- 疎な長期的視覚ストリーム (sparse long-horizon visual stream) が履歴タスク文脈と将来の進展を捉える - 密な局所ダイナミクス視覚ストリーム (dense local dynamics visual stream) が短期的なロボット-物体相互作用をモデル化 - 2ストリームを異なる時間スケールで unified dual-DiT architecture 内で動作させ、structured cross-stream attention で行動を導く - Progressive inference により stream-wise partial denoising、joint denoising、dynamic skipping で計算を削減

4. どうやって有効だと検証した？

- RoboTwin 2.0 で平均成功率 93.70% を達成 - RoboDojo の長期的タスクで progress score 17.43 を記録 - Fourier GR-3 ロボットで in-domain および OOD 性能の頑健性を確認 - Ablations で長期的タスク進展と局所相互作用ダイナミクスの相補的寄与を確認 - 時間スケール分析で時間的カバレッジと解像度のバランスの重要性を示す - Progressive inference で 2.93x の高速化と性能向上を達成

5. 議論はある？

- 長期的タスク進展と局所ダイナミクスの分離・統合の有効性を ablations で確認 - 時間スケールのカバレッジと解像度のバランスが重要であることを分析 - Progressive inference が計算削減と性能向上を両立することを示す - 具体的な限界や失敗事例、議論の詳細は要旨からは不明

6. 次に読むべき論文は？

- World Action Models (WAMs) の関連研究 - dual-DiT architecture を用いた手法 - RoboTwin 2.0 や RoboDojo のベンチマーク論文 - Fourier GR-3 ロボットを用いた研究 - structured cross-stream attention や progressive inference に関連する手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xingyu Wang, Yanjiang Guo, Zhijing Ding, Jiaxin Fang, Zeyu Lai, Jiayu Dong, Weikang Wan, Jianyu Chen, Yuxiang Gao, Mengdi Xu

分類: cs.RO

原文アブストラクト

World Action Models (WAMs) improve robotic manipulation by jointly modeling visual dynamics and robot actions. However, most existing WAMs model dense short-horizon visual dynamics, capturing local interactions but providing limited long-range task context. Extending prediction horizons increases uncertainty and computation while entangling task-level evolution with fine-grained local dynamics, obscuring their dependencies and distinct roles in action generation. We propose HiLo-WAM, which decouples long-horizon task evolution from local visual dynamics while jointly modeling their interaction with robot actions. A sparse long-horizon visual stream captures historical task context and future evolution, while a dense local dynamics visual stream models short-horizon robot-object interactions. The two streams operate at different temporal scales within a unified dual-DiT architecture and guide actions through structured cross-stream attention. Progressive inference further reduces unnecessary computation through stream-wise partial denoising, joint denoising, and dynamic skipping. Experiments demonstrate strong long-horizon manipulation performance: HiLo-WAM achieves a 93.70% average success rate on RoboTwin 2.0 and a 17.43 progress score on RoboDojo long-horizon tasks, with robust in-domain and OOD performance on the Fourier GR-3 robot. Ablations confirm the complementary contributions of long-horizon task evolution and local interaction dynamics, while temporal-scale analyses highlight the importance of balancing temporal coverage and resolution. Progressive inference further achieves a 2.93x speedup while improving performance.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI