日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.24836

人間とロボットの遊びから潜在行動を推論する世界モデル内での拡散ポリシー学習

DiWALI: Diffusion Policy Learning in World Models via Latent Action Inference from Human and Robot Play

シェア:XThreadsFacebookLINEはてブBluesky

人間のデモ動画から逆動力学モデルで潜在行動を推論し、行動ラベルなしで世界モデルを訓練して拡散ポリシーを学習・改善するフレームワークDiWALIを提案した。

詳しい要約

1. どんなもの?

- 人間とロボットの play データから manipulation を学習する DiWALI を提案 - world model 上で diffusion policy を学習・改善するフレームワーク - 連続フレームから inverse dynamics model で latent action を推論し、action label なしで world model を訓練 - latent action を robot play で別途訓練した decoder により robot command に接地 - action-free な human demonstration から skill policy を学習し、imagination 内の reinforcement learning で改善 - CALVIN benchmark と実機ロボットで評価

2. 先行研究と比べてどこがすごい?

- 従来の imitation learning や world model は action-labeled robot data の量に制約される - 人間の demonstration は短時間で技能を示せるが robot action を含まない点が課題 - DiWALI は action label なしの human/robot play から world model を訓練可能にし、action-labeled robot data への依存を低減 - CALVIN で human demonstration のみから訓練した policy が robot demonstration で訓練した baseline を大きく上回る - world model 訓練に human play を加えると、同量の robot play のみより fine-tuning 後の policy が強くなる

3. 技術・手法の肝は?

- inverse dynamics model により連続フレームから latent action を推論 - これを用いて action label なしで world model を訓練 - latent action を robot command に接地するため、robot play で別途 decoder を訓練 - action-free human demonstration 上の latent action に対し diffusion policy を学習 - imagination 内で reinforcement learning により skill policy を改善 - human play と robot play の両方を world model 訓練に活用

4. どうやって有効だと検証した?

- CALVIN benchmark で評価 - human demonstration のみで訓練した DiWALI policy が robot demonstration 訓練の baseline を大幅に上回ることを確認 - world model 訓練に human play を加えた場合と同量の robot play のみの場合を比較し、fine-tuning 後の policy が前者で強いことを確認 - 実機ロボット実験で、主に human demonstration から学んだ skill が human/robot play で訓練した world model の imagination 内でさらに改善されることを確認

5. 議論はある?

- human experience が manipulation skill 獲得と policy 改善の両方を支え、action-labeled robot data への依存を減らせることを示唆 - 議論の詳細や限界は要旨からは不明 - 実機での改善は示されるが、どの程度の汎化や安全性かは要旨からは不明

6. 次に読むべき論文は?

- inverse dynamics model を用いた latent action 学習の関連研究 - diffusion policy の関連研究 - world model 上での reinforcement learning / imagination による policy 改善の関連研究 - CALVIN benchmark を用いた manipulation 研究 - action-free demonstration からの imitation learning 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Akshay L Chandra, Iman Nematollahi, Lingyue Zhao, Daria Kulikova, Angela P. Schoellig, Fabien Despinoy, Abhinav Valada

分類: cs.RO

原文アブストラクト

Learning robot manipulation is constrained by the availability of action-labeled robot data, for both imitation and world models. Humans can demonstrate skills in seconds, but their demonstrations lack the required robot actions. We introduce DiWALI, a framework that learns and improves diffusion policies within a world model trained on human and robot play. DiWALI infers latent actions from consecutive frames using an inverse dynamics model, enabling world model training without action labels, and grounds them in robot commands through a decoder trained separately on robot play. Skill policies are trained over latent actions from action-free human demonstrations and improved with reinforcement learning in imagination. On the CALVIN benchmark, DiWALI policies trained solely from human demonstrations substantially outperform baselines trained with robot demonstrations. Incorporating human play into the world model training also yields stronger policies after fine-tuning than using the same amount of robot play alone. Experiments on a physical robot show that skills learned primarily from human demonstrations are further improved in imagination with a world model trained on human and robot play. Together, these results demonstrate that human experience can support both manipulation skill acquisition and subsequent policy improvement, reducing reliance on action-labeled robot data. Videos, dataset and code are available at https://diwali.cs.uni-freiburg.de.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI