世界モデル/長期予測2026/8/7arXiv:2608.07420

近視眼的な世界モデルを超えて：直接未来予測のための長期的エンドツーエンド学習

Beyond Myopic World Models: Long-Horizon End-to-End Training for Direct Future Prediction

世界モデルの長期予測精度を高めるため、再帰的な展開を避け、任意長の行動系列を単一の埋め込みに圧縮して終点観測を一回で予測する非再帰的アーキテクチャDPWMを提案した。

詳しい要約

1. どんなもの？

本論文は、世界モデル（World Model）の長期的な予測精度を向上させるための新しいトレーニングパラダイムを提案している。従来の世界モデルは、局所的な数ステップの予測損失で訓練され、推論時には自己回帰的にロールアウトされるが、この不一致が長期的な誤差の蓄積を招く。そこで、エンドツーエンドの終点予測目的関数を直接最適化するDirect Prediction World Model (DPWM)を導入する。DPWMは、任意の長さの行動系列を単一の埋め込みに圧縮し、単一のフォワードパスで終点観測を予測する非再帰的アーキテクチャであり、再帰的なロールアウトを回避する。

2. 先行研究と比べてどこがすごい？

先行研究の世界モデルは、数ステップの局所的な遷移予測を目的関数として訓練され、推論時に再帰的にロールアウトされるため、長期的な予測では誤差が増幅される。本研究は、トレーニング目的関数を長期的な終点予測に直接設定することで、この根本的な不一致を解消する点が新しい。また、再帰的なベースラインも同じ長期的目的関数で再訓練すれば同様に改善することを示し、特定のバックボーンではなくトレーニング目的関数が長期的予測精度の主な要因であることを主張している。

3. 技術・手法の肝は？

DPWMは、行動系列をエンコードする非再帰的なアーキテクチャを採用する。具体的には、任意の長さの行動系列を単一の埋め込みに圧縮し、その埋め込みと初期観測から終点観測を単一のフォワードパスで予測する。これにより、予測時と勾配伝播時の両方で再帰的なロールアウトを回避し、長期的なエンドツーエンドの訓練を実現する。また、長期的な終点予測目的関数を直接最適化することで、各遷移の下流への影響を考慮した訓練が可能となる。

4. どうやって有効だと検証した？

連続制御およびピクセルベースのベンチマークにおいて、DPWMを再帰的な世界モデルのベースラインと比較し、長期的な終点予測精度が大幅に向上することを実証した。特に、予測ホライズンが長くなるほど改善幅が大きいことを示した。さらに、再帰的なベースラインを同じ長期的な終点予測目的関数で再訓練すると、同様の改善が見られることを確認し、目的関数の重要性を支持した。

5. 議論はある？

要旨からは、DPWMの限界や潜在的な欠点についての議論は不明である。ただし、非再帰的なアーキテクチャは、行動系列の長さが非常に長い場合に埋め込みの表現力が限られる可能性や、終点予測のみに焦点を当てることで中間状態の予測精度が犠牲になる可能性が考えられるが、要旨には明記されていない。また、実世界のロボティクス応用における有効性や、不確実性の扱いについても言及がない。

6. 次に読むべき論文は？

要旨で参照されている再帰的な世界モデルのベースライン（例えば、DreamerやMuZeroなどの一般的な世界モデル）や、長期的な予測を扱う関連研究を読むことが推奨される。具体的には、World Models (Ha & Schmidhuber)、Dreamer (Hafner et al.)、MuZero (Schrittwieser et al.)などが関連する。また、エンドツーエンドの予測目的関数を用いた研究や、非再帰的なアーキテクチャの応用も関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xinyi Li, Zaishuo Xia, Chenjie Hao, Yubei Chen

分類: cs.LG

原文アブストラクト

World models are expected to support imagination over extended temporal horizons, yet most are still trained through local few-step prediction objectives and deployed by recursively rolling out their own predictions. This creates a fundamental mismatch: few-step losses optimize local transition fidelity, while long-horizon prediction depends on how errors and gradients propagate through the entire trajectory. As a result, transitions with different downstream influence on the endpoint are treated uniformly during training, and small local errors are amplified through recursive inference. We argue that long-horizon accuracy is better achieved by optimizing directly, through an end-to-end endpoint prediction objective. To instantiate this paradigm, we introduce the Direct Prediction World Model (DPWM), a non-recursive architecture that compresses an action sequence of arbitrary length into a single embedding and predicts the endpoint observation in a single forward pass. This design avoids recurrent rollout in both prediction and gradient propagation, making long-horizon end-to-end training practical at horizons where unrolled autoregressive training becomes unstable. Empirically, DPWM substantially improves long-horizon endpoint prediction over recursive world-model baselines on continuous-control and pixel-based benchmarks, with larger gains as the prediction horizon increases. We further show that recurrent baselines benefit similarly when retrained with the same long-horizon endpoint objective, supporting our central claim that the training objective, rather than the particular backbone choice, is the main driver of long-horizon prediction accuracy. Our results suggest that world models can benefit from being trained and evaluated at the temporal scales where they are ultimately used, shifting the focus from local transition modeling toward long-horizon predictive accuracy.

arXivで原文を読む →arXiv概要ページ

← 論文一覧