世界モデル/自律航法2026/8/3arXiv:2608.02428

DF$^3$: デコーダ不要の特徴予測による自律航法の世界モデリング

DF$^3$: World Modeling via Decoder-Free Feature Forecasting in Autonomous Navigation

ビデオから未来の状態を予測する世界モデルにおいて、デコーダを使わずに潜在空間内で特徴を予測し、直接タスク出力を得る新しいフレームワークを提案した。

詳しい要約

1. どんなもの？

DF$^3$（Decoder-Free Feature Forecasting）は、自動運転ロボットのための世界モデリングフレームワーク。ビデオシーケンスから将来の状態を予測する。従来のピクセルレベル生成や潜在空間予測とは異なり、潜在空間内で世界の進化をモデル化し、タスク出力を直接導出することで、デコーダを完全に排除する。

2. 先行研究と比べてどこがすごい？

先行研究のピクセルレベル生成手法はタスクに無関係な詳細を過度に重視し、計算コストが高い。潜在ベースの手法は特徴を直接予測するが、状態からタスクへのマッピングに重いデコーダを必要とする。DF$^3$はデコーダを不要にし、効率性と柔軟性を向上させた点が優れている。

3. 技術・手法の肝は？

手法の肝は、凍結されたvision foundation modelの末端ブロックに学習可能な空間クエリを注入し、将来の状態表現を直接抽出すること。さらに、軽量なMotion-Aware Context Fusion (MACF)メカニズムを用いて、粗いフローwarpingと細かい潜在クロス相関を統合し、履歴トークン表現と相互作用して次フレームの特徴を予測する。その後、タスククエリが予測特徴をプローブして下流タスクを実行する。

4. どうやって有効だと検証した？

公開ベンチマークでの大規模実験と、ロボットシミュレータでのゼロショット展開により検証。state-of-the-art手法と同等の性能を達成しつつ、統合認識と制御において優れた効率性と柔軟性を示した。

5. 議論はある？

要旨からは、デコーダフリーのアプローチが特定のタスクに限定される可能性や、MACFの設計選択の詳細、実世界での性能などについての議論は不明。また、凍結モデルと学習可能クエリの相互作用の理論的裏付けも要旨からは不明。

6. 次に読むべき論文は？

要旨で参照されている先行研究は明示されていないが、関連する分野として、ピクセルレベルの生成モデル（例：Video Prediction）、潜在ベースの世界モデル（例：Dreamer）、およびvision foundation model（例：ViT）に関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiaming Chen, Guoan Xu, Aoshen Huang, Haozhuo Zhang, Yang Li, Wei Pan

分類: cs.CV

原文アブストラクト

Forecasting future states from video sequences is a critical challenge for autonomous robotic systems and a fundamental objective of world modeling. Prior generative methods operating at the pixel level inevitably overemphasize task-irrelevant details, leading to prohibitive computational overhead. While latent-based approaches attempt to mitigate this by predicting features directly, the persistent reliance on heavy decoders for state-to-task mapping remains a computational bottleneck. In this work, we propose Decoder-Free Feature Forecasting (DF$^3$), a novel framework that models world evolution entirely within the latent space and directly derives task outputs, completely eliminating the need for a decoder. Specifically, DF$^3$ injects learnable spatial queries into the terminal blocks of a frozen vision foundation model to extract future state representations directly. By employing a lightweight, unified Motion-Aware Context Fusion (MACF) mechanism that seamlessly integrates coarse flow warping with fine-grained latent cross-correlation, these queries interact with historical token representations to explicitly align and forecast the feature of the next frame. Subsequently, a specialized set of task queries probes these forecasted features for the downstream task. Extensive experiments on public benchmarks and zero-shot deployment in a robotic simulator demonstrate that DF$^3$ achieves performance comparable to state-of-the-art methods while offering superior efficiency and flexibility for integrated perception and control.

arXivで原文を読む →arXiv概要ページ

← 論文一覧