2026/8/1arXiv:2608.11521

Keep the Future, Drop the Rollout: RIFT for World Action Models

詳しい要約

1. どんなもの？

本論文は、World Action Models (WAMs) における反復的なビデオロールアウトの必要性を問い、将来の表現のみで行動生成が可能かどうかを検証する。具体的には、将来のK/Vキャッシュを固定再利用する手法と、学習された予測トークンを用いてワンパスで将来キャッシュを構築するRIFT (Rollout-free Imagination via Future Tokens) を提案する。

2. 先行研究と比べてどこがすごい？

従来のWAMsは、行動生成時に反復的なビデオロールアウトを必要とし、展開時のレイテンシが課題であった。本研究は、ロールアウト軌跡全体ではなく、その将来表現（K/Vキャッシュ）のみが行動生成に寄与することを示し、ロールアウトなしで将来条件付けを実現する点が新しい。

3. 技術・手法の肝は？

手法の肝は、将来のK/Vキャッシュを学習された予測トークン（anticipation tokens）で直接構築し、元の将来読み取りインターフェースを維持すること。これにより、反復的なビデオ生成を排除し、単一のバックボーンパスで将来キャッシュを生成する。

4. どうやって有効だと検証した？

LIBEROの全40タスクで4つのWAMsに対して閉ループ介入実験を行い、将来キャッシュのマスキングや再割り当てが成功率を低下させることを確認。JointとCosmos-2では固定キャッシュ再利用で成功率97.9%〜98.2%を維持。RIFTはLIBEROで98.8%の成功率を達成し、ロールアウトベースのJoint, IDM, LingBot-VA (98.4%〜98.6%) と同等でありながら、アクションチャンクのレイテンシを68.2%〜89.1%削減。RoboTwin 2.0ではクリーン/ランダム化シーンで92.9%/92.6%の成功率を達成し、評価手法中最高。

5. 議論はある？

議論として、固定キャッシュ再利用が可能なモデルとそうでないモデルの差異（JointとCosmos-2は可能、他は不可）が挙げられる。また、RIFTはロールアウトなしで将来条件付けを実現するが、学習された予測トークンの品質や汎用性に関する詳細は要旨からは不明。

6. 次に読むべき論文は？

要旨で参照されている関連手法として、Joint, IDM, LingBot-VA, Cosmos-2が挙げられる。また、World Action Models (WAMs) の基盤となるWorld Modelsや、将来予測を用いたロボット行動生成の研究が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chushan Zhang, Jinguang Tong, Xuesong Li, Yikai Wang, Hongdong Li

分類: cs.RO, cs.AI

原文アブストラクト

World action models (WAMs) condition robot actions on predicted futures, but iterative video rollout increases deployment latency. We ask whether action generation requires the evolving rollout trajectory or only its future representation. Across four WAMs on all 40 LIBERO tasks, paired closed-loop interventions show that masking or reassigning future-cache values changes execution and reduces success, indicating sensitivity to future values and their assigned positions. For Joint and Cosmos-2, however, replaying one fixed final-clean key/value (K/V) cache nearly preserves unmodified execution, with $1.7$ to $1.9$~cm end-effector average displacement error and $97.9\%$ to $98.2\%$ success. This separates cache consumption from production: these models can reuse a fixed cache but still require iterative rollout to construct it. We therefore propose RIFT (\emph{Rollout-free Imagination via Future Tokens}), which uses learned anticipation tokens to construct a complete future K/V cache in one backbone pass while retaining the original future-read interface. On LIBERO, RIFT achieves $98.8\%$ success, close to rollout-based Joint, IDM, and LingBot-VA at $98.4\%$ to $98.6\%$, while reducing action-chunk latency by $68.2\%$ to $89.1\%$. On RoboTwin~2.0, RIFT reaches $92.9/92.6\%$ on clean/randomized scenes, the highest observed among the evaluated methods. These results support rollout-free future conditioning without iterative video generation at deployment.

arXivで原文を読む →arXiv概要ページ

← 論文一覧