日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2611.24273

古い経験から新たな教訓を:対話型模倣学習における自律ロボットのロールアウトの再ラベリング

Old Experience, New Lessons: Relabeling Autonomous Robot Rollouts in Interactive Imitation Learning

シェア:XThreadsFacebookLINEはてブBluesky

人間の介入が乏しい自律ロボットの経験を、後続のポリシーチェックポイントで再ラベリングし、集合値監督で拡散ポリシーを訓練するSeRAを提案。実機トマト収穫で成功率80%を達成。

詳しい要約

1. どんなもの?

- 対話型模倣学習(interactive imitation learning)において、人間の介入時に生じる自律ロボットの経験を活用する枠組み「SeRA」を提案した研究。 - 展開中に得られる人間の修正は疎(sparse)であり、人間の行動ラベルなしの自律経験が豊富に存在する点に着目。 - 既存手法がこの経験を未使用のままにする、または過去のロボット行動を模倣して準最適行動を強化する問題に対処する。 - 方策チェックポイントによる再ラベリングと集合値監督(set-valued supervision)で自律経験から学習する。

2. 先行研究と比べてどこがすごい?

- 既存手法は自律ロボット経験を行動監督に使わないか、過去のロボット行動を模倣して準最適行動を強化する問題があった。 - SeRAは過去の経験を後の方策チェックポイントで再ラベリングし、チェックポイント間の一致でフィルタする点が新しい。 - 一致は正しさを保証しないため、受理された再ラベル周辺に望ましい行動集合を構築する点が先行研究と異なる。 - 実験でSDPや過去行動模倣・厳密再ラベルのベースラインを上回ったと報告。

3. 技術・手法の肝は?

- 方策の後のチェックポイントで自律経験を再ラベリングし、チェックポイント間の一致で再ラベルをフィルタする。 - 一致が正しさを保証しないため、受理された再ラベルの周りに望ましい行動集合(desired action sets)を構築。 - Set-Supervised Diffusion Policy(SDP)に従い、action-chunking diffusion policyを訓練し、集合内行動の確率を高める。 - step-masked denoising lossにより、部分的に監督されたチャンク内で受理再ラベルと利用可能な人間修正を組み合わせる。

4. どうやって有効だと検証した?

- 5つのシミュレーション操作タスクで、オンライン・オフライン両設定の実験を実施。 - SDPと比較して方策性能が向上し、過去のロボット行動模倣や厳密再ラベルのベースラインを上回った。 - 実機トマト収穫タスクで、同一の人間フィードバックと訓練予算の下、成功率80%(SDPは40%)を達成。

5. 議論はある?

- 再ラベルのチェックポイント間一致は正しさを保証しないため、集合値監督で対処する設計上の議論がある。 - 再ラベルされた自律経験が人間修正を補完し、方策性能を改善できることを示唆。 - 実機での成功は同一フィードバック・予算条件下での比較であり、一般化や他タスクへの適用範囲は要旨からは不明。

6. 次に読むべき論文は?

- Set-Supervised Diffusion Policy(SDP):SeRAが従う集合監督型拡散方策。 - Interactive imitation learningにおける人間介入を用いる既存手法(要旨では個別名の明示なし)。 - 過去のロボット行動を模倣するベースラインや厳密再ラベル(exact relabels)を用いる手法。 - action-chunking diffusion policyに関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhaoting Li, Cosimo Della Santina, Jens Kober

分類: cs.RO

原文アブストラクト

Interactive imitation learning enables robots to learn from human interventions during deployment. These interactions naturally produce sparse human corrections and abundant autonomous robot experience without human action labels. Yet existing methods either leave this experience unused for action supervision or imitate historical robot actions, which can reinforce suboptimal behavior. To address this limitation, we propose Set-valued Relabeling of Autonomous experience (SeRA), a framework that learns from autonomous robot experience through set-valued supervision of policy relabels. Later policy checkpoints relabel this experience, and agreement across checkpoints filters the relabels. Since agreement does not guarantee correctness, SeRA constructs desired action sets around accepted relabels. Following Set-Supervised Diffusion Policy (SDP), it trains an action-chunking diffusion policy to increase the probability of actions within these sets. A step-masked denoising loss combines accepted relabels with available human corrections in partially supervised chunks. Experiments across five simulated manipulation tasks in online and offline settings show that SeRA improves policy performance over SDP and outperforms baselines that imitate historical robot actions or exact relabels. On a real-robot tomato-picking task, SeRA achieves 80% success, compared with 40% for SDP, using the same human feedback and training budget. These results demonstrate that relabeled autonomous robot experience can complement human corrections to improve policy performance.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI