日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マニピュレーションarXiv:2610.22340

教師あり遊びによる器用さの獲得

Dexterity from Supervised Play

シェア:XThreadsFacebookLINEはてブBluesky

人間の短時間の遊びから行動クローニングで遊び方策を学習し、自律的にデータを収集して世界モデルを訓練、モデル予測制御と自己遊びによる方策蒸留で器用な操作を実現した。

詳しい要約

1. どんなもの？

- ロボットが自律的に接触リッチな経験を収集し、器用な操作を学習するフレームワーク「DSP: Dexterity from supervised play」を提案。 - 人間の遊び（play）を数分間のbehavior cloningで模倣し、play policyを学習。 - そのpolicyを自律的に展開し、数時間のinteraction dataを収集してworld modelを訓練。 - 推論時には同じplay policyがmodel-predictive control (MPC)の候補行動列を提案し、world modelで評価。 - さらに、world model内でのself-playを通じてclosed-loop, goal-conditioned policyを蒸留する手法を導入。 - underactuated pushingとmultifingered handによるany-to-any in-hand pose reorientationをシミュレーションと実世界で評価。

2. 先行研究と比べてどこがすごい？

- 実世界実験でhindsight behavior cloningを成功率で69.6%上回る。 - 強化学習と比較して490倍少ないinteraction dataで同等の成功率を達成。 - タスク固有のデモンストレーションやsim-to-real transferを必要とせずにpolicy学習を可能にする点が優れている。

3. 技術・手法の肝は？

- 人間のplayをbehavior cloningで模倣し、play policyを獲得。 - play policyを自律展開してinteraction dataを収集し、world modelを訓練。 - 推論時にはplay policyがMPCの候補行動列を提案し、world modelで評価。 - world model内でのself-playによりclosed-loop, goal-conditioned policyを蒸留し、推論を加速。

4. どうやって有効だと検証した？

- underactuated pushingとmultifingered handによるany-to-any in-hand pose reorientationをシミュレーションと実世界で評価。 - 実世界実験でhindsight behavior cloningを成功率で69.6%上回り、強化学習と比較して490倍少ないinteraction dataで同等の成功率を達成。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- hindsight behavior cloning、reinforcement learning、model-predictive control (MPC)、world model、behavior cloning、self-play、sim-to-real transfer

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Botao He, Yiming Dou, Yiannis Aloimonos, Jitendra Malik, Akash Sharma, Ruoshi Liu

分類: cs.RO, cs.AI

原文アブストラクト

How can robots autonomously collect the contact-rich experience needed to learn dexterous manipulation? We present DSP: Dexterity from supervised play, a framework in which a robot learns a play policy from minutes of human play through behavior cloning, then deploys it autonomously to collect hours of interaction data to train a world model. During inference, the same play policy then guides model-predictive control (MPC) by proposing candidate action sequences for evaluation under the learned world model. To accelerate inference, we also introduce a method for distilling a closed-loop, goal-conditioned policy through self-play within the learned world model. We evaluate this framework on underactuated pushing and any-to-any in-hand pose reorientation with a multifingered hand, in simulation and real world. In real world experiment, our method outperforms hindsight behavior cloning by 69.6% in success rate and achieves comparable success to reinforcement learning with 490 times less interaction data. These results demonstrate that supervised play can autonomously collect interaction data, guide model-based planning, and enable policy learning without any task-specific demonstrations or sim-to-real transfer.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI