日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
模倣学習arXiv:2610.39054

ロボットデータ接種：人間とAIの協調による高カバレッジ実演データ収集

Robotic Data Inoculation

シェア:XThreadsFacebookLINEはてブBluesky

人間の遠隔操作に学習中の残差ポリシーで摂動を加え、失敗からの回復実演を効率的に収集する共有制御フレームワークを提案し、実機3タスクで有効性を示した。

詳しい要約

1. どんなもの？

- 実世界ロボット学習のためのデータ収集手法「Data Inoculation (DI)」を提案する論文。 - 人間が閉ループのteleoperationコマンドを出し、residual policyがそのコマンドを摂動するshared-control framework。 - residual policyは増え続けるdataset上でオンライン学習され、後のpolicy extractionと同じreward-maximizing目的で訓練される。 - 摂動によりロボットをより広い状態範囲に晒しつつ、人間の継続的修正がrecovery demonstrationとなる。 - 3つの実世界ロボットタスクで有効性を示す。

2. 先行研究と比べてどこがすごい？

- 従来のデータ収集はheuristicな人間オペレータへの指示に依存し、高coverageデータの原理的収集法が無いと指摘。 - 純粋なonline reinforcement learning (RL) は安全性とsample efficiencyを犠牲に探索する。 - DAgger系のinterventionはpolicyが偶然失敗してから人間が修正する必要がある。 - DIは失敗を待たずに、学習方策がしそうなdeviationへデータ収集を誘導する点が異なる。 - 人間が制御を保ちながらdatasetを将来の誤りに対して"inoculate"する枠組み。

3. 技術・手法の肝は？

- shared-control framework: 人間のteleoperationコマンドにresidual policyの摂動を加える。 - residual policyは成長するdataset上でオンライン訓練され、policy extractionと同じreward-maximizing objectiveを用いる。 - 摂動は、そのデータで訓練されるpolicyが取りそうなdeviationへデータ収集を誘導するよう設計。 - 人間の連続的修正がrecovery demonstrationとして機能し、datasetを学習者の将来のmistakeに備えさせる。 - 人間は常に制御を保持する。

4. どうやって有効だと検証した？

- 3つの挑戦的な実世界ロボットタスクで評価。 - behavioral cloningとoffline RLの両方で訓練したpolicyのsuccess rateと比較。 - DIはこれらのsuccess rateを一貫して改善または同等に維持した。 - 下流policy性能を改善する有効なデータ収集戦略であることを示す。

5. 議論はある？

- 要旨からは不明（具体的な限界や失敗事例、議論の詳細は記述されていない）。 - 示されている範囲では、DIが実世界3タスクでbehavioral cloningおよびoffline RLのpolicy性能を改善または同等に保つと主張。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究: DAgger、behavioral cloning、offline RL、online reinforcement learning (RL)。 - 関連手法としてshared-controlやresidual policyを用いたteleoperation支援、recovery demonstration収集に関する研究が次に読む候補。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qiyang Li, Zhiyuan Zhou, Charles Xu, Sergey Levine

分類: cs.RO

原文アブストラクト

Modern robot learning systems feed on high-quality demonstration data, and their performance hinges on coverage. Without good coverage, small errors compound and the policy can quickly go into out-of-distribution states from which it cannot recover. Yet there is no principled way of collecting high-coverage data, and data collection often relies on heuristic instructions to human operators. Purely online reinforcement learning (RL) explores at the cost of safety and sample efficiency, while DAgger-style interventions require the policy to fail by chance before a human can correct it. In this paper, we ask instead whether we can modify how the robot behaves during data collection to collect more useful data. We propose Data Inoculation (DI), a shared-control framework in which a human provide closed-loop teleoperation commands while a residual policy perturbs these commands. The residual policy is trained online, on the growing dataset, with the same reward-maximizing objective later used for policy extraction, so its perturbations steer data collection toward the deviations a policy trained on the data would make. These perturbations expose the robot to a wider range of states, while the human's continuous corrections provide recovery demonstrations, "inoculating" the dataset against the learner's future mistakes while the human remains in control. On three challenging real-world robotic tasks, DI consistently improves or matches the success rate of policies trained with both behavioral cloning and offline RL, showing DI as an effective data collection strategy for improving downstream policy performance.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI