日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
世界モデルarXiv:2609.21482

認識的不確実性に基づく適応的ロールアウト打ち切りによる効率的なオフライン世界モデル訓練

Adaptive Rollout Truncation Based on Epistemic Uncertainty for Efficient Offline World Model Training

シェア:XThreadsFacebookLINEはてブBluesky

世界モデル訓練で、認識的不確実性が閾値を超えた時点で自己回帰ロールアウトを打ち切る適応戦略を提案し、固定ホライズンと同等以上の精度を約72%少ない計算で達成した。

詳しい要約

1. どんなもの？

オフラインでのworld model学習において、epistemic uncertaintyに基づいてautoregressive rolloutの長さを適応的に切り詰める手法を提案する研究。 - 対象はmodel-based roboticsのneural world model。 - 固定horizonではなく、不確実性が閾値を超えた時点でrolloutを終了。 - auto-curriculum training schemeに従う。 - 2種類のuncertainty estimatorを検討。 - shared recurrent backboneを持つfive-head ensemble。 - Monte Carlo Dropout。 - 2段階のwarm-upで不確実性推定を安定化してから適応的truncationを有効化。

2. 先行研究と比べてどこがすごい？

既存の学習スキームは最適化中ずっと同じrollout長を使い、モデルの現在の予測信頼性を考慮しない。 - 提案法はepistemic uncertaintyに応じてrolloutを動的に打ち切る。 - 固定horizon学習やRWM-U baselineと比べ、予測精度を同等以上に保ちつつ累積rolloutステップを大幅削減。 - ANYmal-Dではbaselineと同等の最終性能を約72%少ないrollout計算で達成。 - epistemic uncertaintyが下流のpolicy regularizationだけでなく、world model学習自体の計算効率化にも有用と示す。

3. 技術・手法の肝は？

epistemic uncertainty-driven adaptive rollout strategyをoffline world model trainingに導入。 - auto-curriculum training schemeに沿う。 - 固定horizonまでunrollせず、epistemic uncertaintyが閾値を超えたらautoregressive rolloutを終了。 - 閾値はwarm-up phaseでcalibrate。 - uncertainty estimatorは2種。 - five-head ensemble with shared recurrent backbone。 - Monte Carlo Dropout。 - 2段階warm-up procedureで不確実性推定を安定化後にadaptive truncationを有効化。

4. どうやって有効だと検証した？

ANYmal-DとANTでの実験により検証。 - ensemble-based adaptive truncationが固定horizon学習とRWM-U baselineの予測精度に匹敵または改善。 - かつ累積rolloutステップを大幅に削減。 - ANYmal-Dで提案手法に従いworld modelを学習すると、baselineと同等の最終性能を約72%少ないrollout計算で達成。

5. 議論はある？

epistemic uncertaintyが下流のpolicy regularizationだけでなく、world model学習自体の計算効率化にも有用であることを示唆。 - 固定horizonより適応的truncationが有効。 - ただし要旨からは、閾値設定の感度、他タスクへの汎化、uncertainty estimator間の詳細比較、失敗ケースなどは不明。

6. 次に読むべき論文は？

要旨で参照/比較されている研究・手法。 - RWM-U baseline。 - fixed-horizon training。 - auto-curriculum training scheme。 - five-head ensemble with shared recurrent backbone。 - Monte Carlo Dropout。 - ANYmal-D、ANT。 - model-based roboticsのneural world model。 - 関連するoffline world model trainingやepistemic uncertainty推定の研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nikodem Sebastian Zymla, Laurin Thiele, Johannes Pitz

分類: cs.RO, cs.LG

原文アブストラクト

Accurate neural world models are central to model-based robotics, where they enable robots to predict future states from previously observed trajectories. Multi-step autoregressive training improves long-horizon prediction, but fixed rollout horizons also increase computational cost and can amplify early training errors when the model is still inaccurate. Existing training schemes typically use the same rollout length throughout optimization, independent of the model's current predictive reliability. We propose an epistemic uncertainty-driven adaptive rollout strategy for offline world model training following an auto-curriculum training scheme. Instead of always unrolling to a fixed horizon, the model terminates autoregressive rollouts once epistemic uncertainty exceeds a threshold calibrated from a warm-up phase. We study two uncertainty estimators: a five-head ensemble with a shared recurrent backbone and Monte Carlo Dropout. A two-stage warm-up procedure stabilizes uncertainty estimates before we enable adaptive truncation. Experiments on ANYmal-D and ANT show that ensemble-based adaptive truncation matches or improves the prediction accuracy of fixed-horizon training and the RWM-U baseline while requiring substantially fewer cumulative rollout steps. Training a world model on ANYmal-D following the presented approach reaches comparable final performance with the baselines with roughly 72% less rollout computation. These results indicate that epistemic uncertainty is useful not only for downstream policy regularization, but also for making world model training itself more compute-efficient.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI