VLA/操作2026/8/21arXiv:2608.20735

ForeTime-VLA: 世界行動モデルからの因果的未来トークン蒸留によるコンベアベルト操作

ForeTime-VLA: Causal Future-Token Distillation from a World Action Model for Conveyor-Belt Manipulation

コンベア上の移動物体を操作するため、将来の接触イベントを予測するVLAポリシーを提案。凍結した世界行動モデルから未来情報を蒸留し、推論時のコストを抑えつつ把持成功率を大幅に向上させた。

詳しい要約

1. どんなもの？

ForeTime-VLAは、コンベアベルト上の動く物体の操作（grasping）を対象とした、causalなfuture-token蒸留を導入したvision-language-action (VLA)ポリシーである。凍結したFast-WAM由来のteacherから、未来を考慮したaction-equivalent表現を蒸留し、推論時にはcausalなまま動作する。オフラインで現在と未来のビデオ潜在表現を白色化した64次元ターゲットに圧縮し、オンラインでは8フレームの履歴エンコーダがこのターゲットを操作フェーズと正規化された遷移時間とともに予測する。4つのfuture tokenと1つのphase tokenがVLMプレフィックスを条件付け、予測された未来と遷移ホライズンがaction expertを条件付ける。

2. 先行研究と比べてどこがすごい？

従来のVLAポリシーは現在の観測のみから微調整されるため、動く物体との接触イベントを予測できない。World action models (WAMs)は予測的ダイナミクスを学習するが、展開時にビデオ規模のteacherを実行したり未来フレームを明示的に想像するのはコストが高い。ForeTime-VLAは、凍結したFast-WAM由来のteacherから未来認識の表現を蒸留し、推論時にはcausalなまま維持することで、WAMの展開コストを回避しつつ未来予測の利点を得る点が新しい。

3. 技術・手法の肝は？

手法の肝は、オフラインで現在と未来のビデオ潜在表現を白色化した64次元ターゲットに圧縮し、オンラインで8フレーム履歴エンコーダがこのターゲットを操作フェーズと正規化された遷移時間とともに予測すること。4つのfuture tokenと1つのphase tokenがVLMプレフィックスを条件付け、予測された未来と遷移ホライズンがaction expertを条件付ける。訓練では元のflow-matching action targetを保持しつつ、cosine、relational geometry、phase、time-to-transition、action-equivalenceの各目的を追加する。

4. どうやって有効だと検証した？

重複除去したコンベアベルトデータセットで、分割ごとに768のマッチングされたウィンドウで40kステップのチェックポイントを比較した。テストMAEは0.134119から0.130593へ2.63%減少（paired-bootstrap 95% CI: 0.82-4.48%改善）、テストL2は3.02%減少し、レイテンシコストは2.46-2.93%だった。定量的な実ロボット評価では、ForeTime-VLAは静止時81.1%、低速移動時58.9%のgrasp成功率を達成し、次点の参照よりそれぞれ12.2および22.2パーセントポイント上回った。3つのベルト速度で、pi0.5の23/90に対して44/90のgraspを完了し、高速では2/30に対して11/30を達成した。

5. 議論はある？

オフラインの方向ゲインと実ロボットの接触姿勢失敗の減少との一致は、causalなfuture-token蒸留が動的操作を改善する効果的な方法であることを支持する。ただし、レイテンシコストが2.46-2.93%発生する点や、データセットの特定の条件（コンベアベルト）に限定されている可能性がある。また、蒸留の一般性や他の動的タスクへの適用可能性については要旨からは不明。

6. 次に読むべき論文は？

要旨で参照されているpi0.5やFast-WAM、World action models (WAMs)に関する論文が次に読むべきである。具体的には、pi0.5の元論文、Fast-WAMの詳細、およびWAMの一般的な枠組みを提案した論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Siyuan Ma, Yutian Zhang, Boshi Zhang, Qinglian Wu, Jiaqi Zhai, Dong Wei, Xiaojin Huang

分類: cs.AI, cs.RO

原文アブストラクト

Manipulating moving objects requires a policy to anticipate contact events, yet vision-language-action (VLA) policies are commonly fine-tuned from the current observation alone. World action models (WAMs) learn predictive dynamics, but running a video-scale teacher or explicitly imagining future frames at deployment is costly. We introduce ForeTime-VLA, a dense pi0.5 policy that distills a future-aware, action-equivalent representation from a frozen Fast-WAM-derived teacher while remaining causal at inference. Offline, current and future video latents are compressed into a whitened 64-D target. Online, an eight-frame history encoder predicts this target together with manipulation phase and normalized time-to-transition. Four future tokens and one phase token condition the VLM prefix, while the predicted future and transition horizon condition the action expert. Training retains the original flow-matching action target and adds cosine, relational geometry, phase, time-to-transition, and action-equivalence objectives. On a deduplicated conveyor-belt dataset, we compare 40k-step checkpoints on 768 matched windows per split. Test MAE decreases from 0.134119 to 0.130593 (2.63%; paired-bootstrap 95% CI: 0.82-4.48% improvement), and test L2 decreases by 3.02%, at a 2.46-2.93% latency cost. In quantitative real-robot evaluation, ForeTime-VLA achieves 81.1% stationary and 58.9% slow-moving grasp success, exceeding the next-best reference by 12.2 and 22.2 percentage points, respectively. Across three belt speeds, it completes 44/90 grasps versus 23/90 for pi0.5, including 11/30 versus 2/30 at fast speed. The agreement between offline orientation gains and reduced real-robot contact-pose failures supports causal future-token distillation as an effective way to improve dynamic manipulation without deploying the world-model teacher.

arXivで原文を読む →arXiv概要ページ