日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2611.25320

残差学習の配分で多段階模倣政策を改善する

Improving Imitation Policies for Multi-Phase Tasks through Residual Learning Allocation

シェア:XThreadsFacebookLINEはてブBluesky

模倣学習した方策を残差強化学習で補正する際、各フェーズへの学習予算配分を「完了確率の改善量」に基づいて決める手法を提案し、点質量ドッキングや双腕組立で有効性を示した。

詳しい要約

1. どんなもの?

- 模倣学習で訓練した base policy を residual reinforcement learning で補正する枠組み - 複数 phase からなるタスクで、限られた環境相互作用予算を phase 間でどう配分するかが課題 - completion gain という指標を導入し、どの phase のどの action component を補正すべきかを決める手法

2. 先行研究と比べてどこがすごい?

- 従来の residual RL は base policy の失敗箇所を手がかりに補正しがち - 本研究は『失敗が多い phase』と『補正で最も completion が改善する phase』が異なることを明示的に区別 - failure count 比例配分や uniform 配分と比較して completion を改善した点が新規

3. 技術・手法の肝は?

- completion gain を『phase 到達確率』と『phase 開始時からの条件付き改善』に分解 - paired episodes から completion gain を推定 - 正の推定値に基づき residual policy が補正する action component と phase ごとの訓練 episode 配分を決定

4. どうやって有効だと検証した?

- stochastic point-mass docking 実験で検証 - 最終 docking phase で失敗が最多だが、最大 completion gain は直前の channel phase にあった - gain-based allocation が failure count 比例配分を上回り、長い approach を持つ変種では予算半分で uniform 配分も上回った - simulated bimanual robotic assembly では insertion と release のみ正の gain、release は失敗が少ないが held-out 状態からの completion を 16.9% 改善

5. 議論はある?

- 失敗頻度と補正効果の乖離を示し、予算配分設計の重要性を議論 - completion gain 推定は paired episodes に依存し、推定精度や一般性については要旨からは不明 - 実機での有効性や他タスクへの拡張性は要旨からは不明

6. 次に読むべき論文は?

- residual reinforcement learning の基礎研究 - imitation learning の base policy 補正に関する研究 - phase 分割や option に基づく階層的強化学習 - bimanual robotic assembly の模倣学習研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Clinton Enwerem, Saleh Kemal, John S. Baras, Calin Belta

分類: cs.LG, cs.RO, eess.SY

原文アブストラクト

Residual reinforcement learning corrects an imitation-trained base policy using a limited budget of environment interaction. In a task with several phases, this budget must be divided among the phases, and the phase in which the base policy fails is not necessarily the phase in which a correction most improves task completion. We formalize this distinction through the completion gain: the change in full-task completion probability when, during a single phase, a state-feedback controller replaces selected components of the base policy's action. We decompose the completion gain into the probability of reaching the phase and the conditional improvement in completion from the start of the phase, and we estimate it from paired episodes. The positive estimates determine which action components the residual policy corrects and how training episodes are distributed across phases. In stochastic point-mass docking experiments, most failures occurred in the final docking phase, whereas the largest completion gain occurred in the preceding channel phase; gain-based allocation improved completion over allocation proportional to failure counts and, in a variant with a longer approach, over uniform allocation at half of the budget. In simulated bimanual robotic assembly, the completion-gain estimates were positive only for insertion and release, although few failures occurred during release; in a second assembly configuration, a residual policy trained in the release phase improved completion from held-out states at the start of release by 16.9%.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収
  5. 5NVIDIA、SC26で科学研究向けAIエージェントとHPC基盤を発表新製品・発表

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI