人間の修正を活用したロボット方策の適応的残差補正

- ロボットの模倣学習ポリシーに対する軽量な post-training モジュール「Adaptive Residual Correction (ARC)」の提案。 - 大半の軌道は実行できるが局所的に精度が必要な領域で失敗する問題を対象。 - 凍結したポリシーの上に RL で residual correction を学習する。 - スパースな人間の修正を模倣目標ではなく探索の構造化に用いる。

- ポリシー全体の更新や全空間での residual action 探索は、局所的な失敗を大域的な学習問題として扱ってしまう。 - ARC は人間修正を模倣ターゲットにせず、探索の「いつ・どこ」を絞る手がかりとして使う点が異なる。 - これにより局所失敗への効率的な post-training を狙う。

- 凍結ポリシー上に RL で residual correction を学習する lightweight モジュール。 - 人間修正の pre-intervention states から residual control を有効化する「when」を決定。 - 修正の geometry から residual action space 内で自律探索する「where」を決定。 - 最終的に実行する residual は task reward が「what」として決定。

- 実機ロボット上の 3 つの precision-manipulation タスクで評価。 - 平均タスク成功率が 33.3% から 75.0% に向上。 - 人間修正が 7 関節 residual 空間のタスク依存な 2-3 次元部分空間を定義し、修正二乗 magnitude の 96.0-97.7% を保持することを確認。

- スパースな人間修正が、観測された修正自体を最終行動目標とせずとも自律 post-training の局所化・制約に有効であることを示唆。 - 詳細な限界や失敗事例、他タスクへの一般化については要旨からは不明。

- 要旨で参照/比較されている具体的な先行研究は不明。 - 関連手法として imitation learning、residual policy learning、RL による post-training、human-in-the-loop correction の定番研究を次に読む候補として挙げる。