日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.10872

DreamVLA:生成された人間動作からヒューマノイドの視覚-言語-行動ポリシーへ

DreamVLA: From Generated Human Motions to Humanoid Vision-Language-Action Policies

シェア:XThreadsFacebookLINEはてブBluesky

生成した人間の動作軌道をシミュレーション強化学習のガイドに使い、タスク特化の遠隔操作データなしでヒューマノイドVLAポリシーを訓練する手法を提案。

詳しい要約

1. どんなもの?

- ヒトの生成モーション軌道を活用し、simulation での RL を経て humanoid の VLA policy を学習する手法 DreamVLA の提案。 - 新たな teleoperation データなしで、生成軌道を信頼できるタスク実行軌道へ変換し VLA を訓練する枠組み。 - 対象タスクは platform からの picking、drawer を開ける、button を押す、歩行して platform から picking。

2. 先行研究と比べてどこがすごい?

- 従来の VLA 訓練は大規模な robot demonstration データに依存し、特に whole-body humanoid では teleoperation が高コストなボトルネックだった。 - simulation の RL はデータ拡張の代替だが、タスク固有 reward の設計が困難という課題があった。 - DreamVLA は生成モーション軌道で RL を導くことで、新規タスク固有の teleoperation データなしに VLA を訓練可能にする点が異なる。

3. 技術・手法の肝は?

- 生成された motion trajectory を reference として simulation の RL を誘導し、タスク実行軌道へ変換する。 - 中核は reference-conditioned DAgger distillation:learner rollout の失敗後、サンプルした learner state から同一 reference suffix で RL expert を再起動し、成功した corrective trajectory を集約する。 - これにより offline imitation が残す distribution shift に対処する。

4. どうやって有効だと検証した?

- platform からの picking、drawer を開ける、button を押す、歩行して platform から picking の4タスクで評価。 - DAgger iterations、residual RL、生成データセット規模の ablation を実施。 - 具体的な成功率や比較数値は要旨からは不明。

5. 議論はある?

- offline imitation 後の distribution shift を DAgger 型の corrective trajectory 集約で緩和する点を議論。 - DAgger iterations、residual RL、生成データセット規模の影響を ablation で検討。 - 限界や失敗事例の詳細は要旨からは不明。

6. 次に読むべき論文は?

- DAgger(Dataset Aggregation)およびその distillation variants。 - residual RL。 - simulation における RL expert を用いた VLA 訓練の関連研究(具体名は要旨からは不明)。 - humanoid の whole-body VLA に関する定番研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kevin Park, Izat Rasyad, Dvij Kalaria, Shankar Sastry

分類: cs.RO

原文アブストラクト

Training vision-language-action (VLA) policies typically depends on substantial robot demonstration data, making human teleoperation a costly and cumbersome bottleneck, particularly for whole-body humanoid interaction. Reinforcement learning in simulation offers an alternative for scaling this data, but designing task-specific rewards remains challenging. To address this, we propose DreamVLA, which uses generated motion trajectories to guide reinforcement learning (RL) in simulation, converting them into reliable task execution trajectories. These trajectories train VLA models in simulation without new task-specific teleoperation data. Our central contribution is a reference-conditioned DAgger distillation procedure: after a failed learner rollout, we restart the RL expert from a sampled learner state with the same reference suffix and aggregate successful corrective trajectories, addressing the distribution shift left by offline imitation. We evaluate picking from a platform, opening a drawer, pressing a button, and walking and picking from a platform, with ablations of DAgger iterations, residual RL, and generated dataset scale. Project website: ember-center-berkeley.github.io/DreamVLA.

関連論文

  1. 1パナソニックHDら、ロボット操作AI「T-Rex」を共同開発 12タスクで平均成功率65%研究・技術
  2. 2Hugging Face、ロボット学習基盤「LeRobot v0.7.0」を公開 対話操作と大規模データ学習に対応新製品・発表
  3. 3NVIDIA、Vera CPUのエージェント処理性能を公表 x86比で速度・電力効率を比較半導体・GPU
  4. 4Agility、SPAC合併でナスダック上場資金調達
  5. 5智元、清華大学などとCELを発表 96台のロボットで群体学習を検証研究・技術
PR本紙発行元 EmplifAI