世界モデル2026/8/26arXiv:2608.26239

WALL-SS: 次スケール自己回帰による長期的世界モデルのスケーリング

WALL-SS: Scaling Long-horizon World Models via Next-Scale Autoregression

ロボットの視覚的未来予測をスケール単位の自己回帰で生成する世界モデルを提案し、行動制御可能で長期的なシミュレーションを実現した。

詳しい要約

1. どんなもの？

WALL-SSは、ロボットのための生成型ワールドモデルであり、視覚的未来をスケール単位の自己回帰（Scale-wise autoregressive Scaling）で生成する。ロボットの軌道を観測と行動が時間的に交互に並ぶ因果シーケンスとして表現し、行動条件付きの状態遷移を明示することで、可変長生成、ストリーミング拡張、シーケンス確率による直接最適化を可能にする。長いホライズンに対処するため、粗いスケールから細かいスケールへの生成を行い、行動条件付き次スケール予測、スケール圧縮長期記憶、オン方策アライメントの3つの要素を導入する。

2. 先行研究と比べてどこがすごい？

従来の生成ワールドモデルはクリップレベルの未来予測に留まることが多く、柔軟なホライズンや連続的なインタラクション、報酬駆動の最適化を統一的に扱えなかった。WALL-SSは、行動と結果の関係を明示的にモデル化し、可変長生成とストリーミング拡張を自然にサポートする点で優れている。また、長いホライズンでの一貫性を保つために、スケール圧縮メモリとオン方策アライメントを導入し、自己生成コンテキストへの頑健性を高めている。

3. 技術・手法の肝は？

手法の核は、軌道を観測と行動の交互シーケンスとして表現し、各未来観測を粗いスケールから細かいスケールへと生成する点にある。具体的には、(1) 行動条件付き次スケール予測でスケール整合的な行動表現を注入し、行動と未来の結合を強化、(2) スケール圧縮長期記憶で最近のインタラクションを高解像度で保持しつつ、遠い観測と行動を圧縮、スケール単位のdream forcingで自己生成コンテキストへの頑健性を向上、(3) オン方策アライメントで行動追従と長期一貫性の報酬を最適化しつつ、事前学習済みの視覚分布を維持する。

4. どうやって有効だと検証した？

実験では、WALL-SSが行動追従と軌道精度を改善し、限られたメモリで1分以上のコヒーレントなストリーミングロールアウトをサポートすることを示した。また、オン方策アライメントが行動ドリフトと長期ホライズンの不整合を低減する上で一貫して有効であることを検証した。具体的なデータセットやベースラインは要旨からは不明。

5. 議論はある？

要旨からは、WALL-SSの限界や潜在的な問題についての議論は不明。ただし、オン方策アライメントが事前学習済みの視覚分布を維持しながら報酬最適化を行う点で、分布シフトのリスクがある可能性が考えられるが、要旨では触れられていない。また、スケール圧縮メモリの圧縮率や、非常に長いホライズンでの性能限界についても要旨からは不明。

6. 次に読むべき論文は？

要旨で参照されている関連研究は明示されていないが、生成ワールドモデルの分野では、DreamerやIRIS、UniSimなどの手法が関連する。また、ビデオ生成モデル（例：VideoPoet）や自己回帰モデル（例：Transformer）も関連する。具体的には、DreamerV3やIRIS、UniSim、あるいは一般的なビデオ予測モデルを読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Maeve Zhang, Rain Sun, Xiang Wang, Cyril Zhang, Shalfun Li, Meng Cao, Howard Lu, Ethan Chen, Harry Jhou, KZ Zheng, Lights Shi, Regis Cheng, Lorenzin, Robert Wang, Victor Yao, Gody Li, Elise Mon, Yohann Tang, Ryan Yu, PS Zhang, Vincent Chen, Hang Su, Roy Gan, Hao Wang, Qian Wang

分類: cs.RO

原文アブストラクト

Generative world models provide robots with predictive models of how the world evolves under interaction, with growing potential for simulation, planning, policy evaluation, and robot learning. Beyond clip-level future prediction, a unified generative formulation should relate actions to consequences, support flexible horizons and continuous interaction, and enable reward-driven optimization. We introduce WALL-SS, a world model that generates visual futures through Scale-wise autoregressive Scaling, enabling action-controllable and long-horizon robotic simulation. WALL-SS represents embodied trajectories as causal sequences of temporally interleaved observations and actions, making action-dependent state transitions explicit while naturally supporting variable-length generation, streaming extension through reusable causal states, and direct optimization through sequence probabilities. To make this formulation effective over long horizons, we generate each future observation in a coarse-to-fine manner and develop three complementary components within the same hierarchy. Action-conditioned next-scale prediction injects scale-aligned action representations to improve action-future coupling and model both successful and failed behaviors. Scale-compressed long-horizon memory retains recent interactions at fine resolution while compressing distant observations and actions, with scale-wise dream forcing enhancing robustness to self-generated context. Finally, on-policy alignment optimizes autoregressive visual dynamics with action-following and long-term consistency rewards while preserving the pretrained visual distribution. Experiments show that WALL-SS improves action following and trajectory accuracy, supports coherent minute-long streaming rollout under bounded memory, and consistently benefits from on-policy alignment in reducing action drift and long-horizon inconsistency.

arXivで原文を読む →arXiv概要ページ