VLA2026/8/25arXiv:2608.23927

GlanceWAM: 世界行動モデルのためのスパースなテスト時想像

GlanceWAM: Sparse Test-Time Imagination for World-Action Models

ビデオ生成モデルの物理的知識をロボット学習に活用しつつ、制御レートでの同期生成の遅延問題を回避するため、非同期に未来フレームを想像し、潜在空間で直接行動を生成する手法を提案。RoboCasaやLIBEROで高い成功率と高速推論を実現。

詳しい要約

1. どんなもの？

GlanceWAMは、ロボット学習のためのWorld-Action Model (WAM) の一種で、ビデオ生成モデルが持つ物理的先行知識を活用しつつ、リアルタイム推論と高いタスク成功率を両立する手法。非同期に未来フレームを想像（imagination）し、制御は潜空間で高速に行う。

2. 先行研究と比べてどこがすごい？

従来のWAMは、制御レートで同期してビデオ生成を行うと遅延が大きく、テスト時の視覚的想像を放棄するとタスク成功率が低下するというトレードオフがあった。GlanceWAMは、想像を制御のクリティカルパスから外し、潜空間で直接消費することで、リアルタイム推論と高い成功率を両立した点が新しい。

3. 技術・手法の肝は？

単一のvideo DiT内で想像と制御を分離。非同期のproposerが遅いクロックで未来の1フレームを背景で想像し、action headは制御レート（48 ms）で潜空間のみでアクションチャンクをデコード。非干渉attention maskでビデオ表現を分離し、staleness-robust horizon trainingで非同期の遅延に対応。

4. どうやって有効だと検証した？

デモのみで訓練し、24タスクのRoboCasa kitchenベンチマークで72.2%達成（同期Cosmos Policyの67.1%、想像なしのco-trainingの64.4%を上回る）。LIBEROでは99.0%達成。NVIDIA A100 GPUでチャンクあたり48 ms（同期ベースライン比24倍高速）。

5. 議論はある？

要旨からは、非同期の想像がどの程度の遅延まで有効か、また異なるタスクや環境での汎用性、潜空間での消費がビデオ生成の品質に与える影響などは不明。また、RoboCasaとLIBERO以外のベンチマークでの検証が必要。

6. 次に読むべき論文は？

要旨で比較されているCosmos Policy（同期WAM）や、imagination-free co-training、またvideo DiTの基盤となるVideo Generation Models、World Modelsに関する論文が関連。具体的には、Cosmos Policyの論文や、ビデオ生成をロボット学習に応用した先行研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Linhan Wang, Zijian An, Mingyuan Zhang, Chen Dai, Yi Xu, Can Cui, Zichong Yang, Yinlin Chen, Lifeng Zhou, Chang-Tien Lu

分類: cs.CV

原文アブストラクト

Video generative models provide rich physical priors for robot learning, yet existing world-action models (WAMs) face a fundamental trade-off: synchronous video generation at control rate is latency-prohibitive, while abandoning test-time visual imagination sacrifices task success. We show that visual imagination achieves both real-time inference and superior success rates when generated asynchronously off the critical path and consumed directly in latent space. We introduce GlanceWAM, which decouples imagination from control within a single video DiT: an asynchronous proposer glances ahead on a slow clock to imagine a single lookahead frame seconds into the future in the background, while an action head decodes action chunks at control rate (48 ms) purely in latent space without blocking. Enabled by a non-interfering attention mask that isolates video representations and staleness-robust horizon training that accommodates asynchronous lookahead aging, GlanceWAM breaks the speed-success dilemma. Trained purely on demonstrations, it attains 72.2% on the 24-task RoboCasa kitchen benchmark (surpassing synchronous Cosmos Policy at 67.1% and imagination-free co-training at 64.4%) and 99.0% on LIBERO, executing at 48 ms per chunk on an NVIDIA A100 GPU (24x faster than synchronous baselines). Code is available at https://github.com/linhanwang/GlanceWAM.

arXivで原文を読む →arXiv概要ページ