日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
強化学習/世界モデルarXiv:2610.31617

DiffDreamer: 世界モデルと微分可能シミュレーションを結合した俊敏なクアッドロータ制御

DiffDreamer: Coupling World Models with Differentiable Simulation for Agile Quadrotor Control

シェア:XThreadsFacebookLINEはてブBluesky

学習した世界モデルで外部ダイナミクスを、微分可能シミュレータで機体の物理状態を別々に伝播させて強化学習する枠組みを提案し、動的ゲートレースなど俊敏なクアッドロータ飛行の収束性と性能を向上させた。

詳しい要約

1. どんなもの？

- 四旋翼機のagile制御(例: dynamic-gate racing)向けの強化学習フレームワーク - 学習したworld modelとdifferentiable simulationを密結合したactor最適化を提案 - 1ステップ内でworld modelが外部ダイナミクス・履歴依存特徴を含むlatent stateを伝播し、differentiable simulatorがロボットの明示的物理状態を伝播 - actor目的をcritic駆動経路(非微分なtask reward)とsimulator駆動経路(微分可能なmotion reward)に分解 - 実機flight実験もproof-of-conceptとして実施

2. 先行研究と比べてどこがすごい？

- model-free、model-based、differentiable-RLの各baselineと比較し学習収束を改善 - これらbaselineに加え古典的なplanning/control手法と比べ最終性能も向上 - 従来のworld-model型RLは環境進化とロボット自身のダイナミクスを単一の学習rolloutで絡めて扱い、model biasがpolicy最適化効率を損ないうる点を課題視 - 本手法はworld modelとdifferentiable simulatorを分離・結合することでこの絡み合いを緩和

3. 技術・手法の肝は？

- learned world modelが外部ダイナミクスと履歴依存特徴をlatent stateとして伝播 - differentiable simulatorがロボットの明示的物理状態を伝播 - actor目的を2経路に分解: critic駆動経路(非微分なtask reward向け)とsimulator駆動経路(微分可能なmotion reward向け) - odometry-conditioned relative-state representationを採用 - これらを1最適化ステップ内でtightly coupleしてactorを最適化

4. どうやって有効だと検証した？

- aggressive trackingとdynamic-gate racingの実験で評価 - model-free/model-based/differentiable-RL baselineに対する学習収束の改善を確認 - baselineおよび古典的planning/control手法に対する最終性能の向上を確認 - reward decompositionとodometry-conditioned relative-state representationのablationを実施 - proof-of-conceptの実機flight実験で検証

5. 議論はある？

- reward decompositionの効果とodometry-conditioned relative-state representationの寄与をablationで議論 - model biasがpolicy最適化効率に与える影響を動機として提示 - 実機検証はproof-of-concept段階であり、詳細な議論は要旨からは不明 - 限界や失敗事例に関する記述は要旨からは不明

6. 次に読むべき論文は？

- 比較対象のmodel-based RL(world modelベースの手法) - model-free RLベースライン - differentiable-RLベースライン - 古典的planning/control手法 - dynamic-gate racing関連のquadrotor制御研究(具体的な論文名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Fanxing Li, Yuxiang Huang, Shengyang Wang, Fangyu Sun, Shuyu Wu, Tianbao Zhang, Dexin Zuo, Yan Yufei, Danping Zou, Wenxian Yu

分類: cs.RO

原文アブストラクト

Tasks such as quadrotor dynamic-gate racing require agents to anticipate external motion while maintaining precise high-frequency control. World-model-based reinforcement learning provides a natural solution by learning latent dynamics for future imagination, yet it often entangles environmental evolution and the robot's own dynamics in a single learned rollout, where model bias can affect policy optimization efficiency. We propose DiffDreamer, a differentiable reinforcement learning framework that tightly couples a learned world model with differentiable simulation for actor optimization. In one optimization step, the learned world model propagates latent states that capture external dynamics and history-dependent features, while the differentiable simulator propagates the robot's explicit physical state. We further decompose the actor objective into a critic-driven pathway for non-differentiable task rewards and a simulator-driven pathway for differentiable motion rewards. Experiments on aggressive tracking and dynamic-gate racing show that DiffDreamer improves training convergence over the model-free, model-based, and differentiable-RL baselines, and final performance over these baselines and classical planning and control methods. Additional experiments assess reward decomposition and the odometry-conditioned relative-state representation through ablations. We also provide proof-of-concept real-world flight experiments for validation.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI