日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.30814

世界モデルを政策改善のために訓練するDRILL

DRILL: Training World Models to Improve Policies, Not Predict Pixels

シェア:XThreadsFacebookLINEはてブBluesky

世界モデルを画素予測ではなく政策のリターン最大化で訓練する二段階フレームワークを提案し、操作タスクで成功率を向上させた。

詳しい要約

1. どんなもの？

- VLA policy を強化学習で post-training する際の環境相互作用削減に使う world model の学習目的を再設計する研究 - 従来の one-step 先の pixel 予測ではなく、imagined rollouts から得られる policy 改善（downstream return）を最大化するよう world model を訓練 - Downstream-Return Imagination Learning Loop (DRILL) という bilevel framework を提案 - DRILL-VWI（closed-form surrogate）と DRILL-IMG（full meta-gradient）の2実装 - 5つの manipulation simulator と2つの VLA backbone で評価

2. 先行研究と比べてどこがすごい？

- 従来の world model は one-step 先の pixel 予測（pixel MSE）で訓練されるのが通例 - 著者らは pixel MSE と policy gradient の質が乖離することを示す：pixel MSE が低くても policy gradient が悪化し得る - 逆に policy utility 目的で訓練した world model は次フレームの pixel MSE が17%高いにもかかわらず下流 policy が改善 - 結果として DRILL-IMG は WMPO 比 +13.1 ポイント、RLVR-World 比 +7.9 ポイントの平均成功率向上 - RLVR pretraining と競合せず相補的であることも示す

3. 技術・手法の肝は？

- bilevel framework：内側で imagined rollouts に対し GRPO 更新を行い、外側でその更新後の policy return を最大化するよう world model を更新 - DRILL-VWI：追加の simulator rollout を要さない closed-form surrogate。予測誤差を policy visitation、group-relative GRPO advantage、model confidence で再重み付け - DRILL-IMG：内側更新を通して微分する full meta-gradient 法。truncated Hessian-vector products を用いる - DRILL-VWI は score-compatibility と small-residual の仮定下で DRILL-IMG meta-gradient の局所 one-step 成分を回復することを示す

4. どうやって有効だと検証した？

- 5つの manipulation simulator と2つの VLA backbone で実験 - 平均成功率で WMPO を +13.1 ポイント、RLVR-World を +7.9 ポイント上回る - pixel MSE が17%高いにもかかわらず下流 policy が改善する例を示し、pixel 予測目的との乖離を実証 - RLVR pretraining との相補性を確認 - DRILL-VWI が DRILL-IMG meta-gradient の局所成分を回復することを理論的に示す

5. 議論はある？

- pixel-level 予測ではなく policy gradient の質で world model を訓練すべきという主張 - pixel MSE と policy 改善の不一致は実証的に示されるが、その一般性や限界の詳細は要旨からは不明 - DRILL-VWI の理論的正当化は score-compatibility と small-residual の仮定に依存 - DRILL-IMG の計算コスト（Hessian-vector products 等）に関する議論は要旨からは不明 - 他タスク・他 modality への一般化は要旨からは不明

6. 次に読むべき論文は？

- WMPO（比較対象の world model ベース policy 最適化手法） - RLVR-World（比較対象かつ相補性が示された手法） - GRPO（内側更新に用いられる group-relative policy optimization） - VLA policy の post-training における world model 利用の関連研究 - model-based RL における meta-gradient / bilevel 最適化の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhaolu Kang, Tailong Luo, Lei Wei, Guangyuan Dong, Sihan Liu, Yingjie He, Siheng Wang, Shuaibo Li, Rongchao Zhang, Zhen Tian, Richeng Xuan, Zhichao Hu

分類: cs.CV

原文アブストラクト

World models are increasingly used to reduce environment interaction when post-training vision-language-action (VLA) policies with reinforcement learning. Yet they are typically trained to predict pixels one step ahead, even though their role here is not merely to render visually faithful videos but to produce learning signals from imagined rollouts that improve the policy. We show that this mismatch is substantial: lower pixel MSE can produce worse policy gradients, and a world model trained for policy utility can yield better downstream policies despite 17% higher pixel MSE on the next frame. We propose the Downstream-Return Imagination Learning Loop (DRILL), a bilevel framework that updates the world model to maximize the policy's return after an inner GRPO update on imagined rollouts. DRILL has two instantiations. DRILL-VWI is a closed-form surrogate, requiring no additional simulator rollouts, that reweights prediction errors by policy visitation, the group-relative GRPO advantage, and model confidence. DRILL-IMG is a full meta-gradient method that differentiates through the inner update using truncated Hessian-vector products. We show that DRILL-VWI recovers the local one-step component of the DRILL-IMG meta-gradient under score-compatibility and small-residual assumptions. Across five manipulation simulators and two VLA backbones, DRILL-IMG raises mean success rate by 13.1 points over WMPO and 7.9 points over RLVR-World, and complements RLVR pretraining rather than competing with it. More broadly, we believe video world models for VLA reinforcement learning can be productively trained by the policy gradients they produce, not only by pixel-level prediction.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI