マニピュレーション2026/8/18arXiv:2608.17323v2

ORPA: 人間のフィードバックを用いたロボット操作制御のためのオンライン残差方策適応

ORPA: Online Residual Policy Adaptation for Robot Manipulation Control with Human Feedback

模倣学習で訓練された操作方策の実行時エラーを、方策パラメータを変更せずに軽量なフィードバック条件付きモジュールで残差補正するフレームワークを提案し、ALOHAプラットフォームでの精密操作タスクで成功率向上を実証した。

詳しい要約

1. どんなもの？

ORPA (Online Residual Policy Adaptation) は、模倣学習で事前学習されたロボット操作ポリシー（例: Action Chunking with Transformers (ACT)）を、パラメータを変更せずに実行時に修正するためのフレームワーク。軽量なフィードバック条件付きモジュールを追加し、関節空間で残差調整を予測することで、即時の行動修正を可能にする。

2. 先行研究と比べてどこがすごい？

従来の失敗修正はデータセット集約と全ポリシーの再学習を必要とし、計算コストが高くリアルタイム展開に不向きだった。ORPAはポリシーパラメータを変更せずに、軽量モジュールで実行時修正を行う点が新しい。また、ルールベースの逆運動学補正と比較して、より柔軟で精度の高い適応が可能。

3. 技術・手法の肝は？

事前学習済みの制御ポリシーに、フィードバック条件付きの軽量モジュールを追加する。このモジュールは、現在の状態と人間のフィードバック（例: 成功/失敗の指示）を入力とし、関節空間での残差調整（residual adjustments）を予測する。ポリシーの出力に残差を加算して最終的な行動を決定する。ポリシーのパラメータは固定され、モジュールのみが学習される。

4. どうやって有効だと検証した？

ALOHAプラットフォーム上で、精度が要求される複数の操作タスクを用いて評価。ベースラインの制御ポリシーとルールベースの逆運動学補正と比較し、成功率の向上と小さな摂動からの回復能力の改善を示した。

5. 議論はある？

要旨からは、ORPAの限界や一般化に関する議論は不明。ただし、フィードバックの種類やモジュールの学習方法、他のタスクやプラットフォームでの有効性などは要旨に記載がないため、今後の検証が必要。

6. 次に読むべき論文は？

要旨で参照されている研究は、Action Chunking with Transformers (ACT) と模倣学習全般。また、関連手法として、残差ポリシー学習（residual policy learning）や、人間のフィードバックを用いた強化学習（RLHF）などが考えられるが、要旨に明示されていないため、次に読むべき論文は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Muhammad A. Muttaqien, Tomohiro Motoda, Ryo Hanai, Yukiyasu Domae

分類: cs.RO, cs.AI

原文アブストラクト

Robotic manipulation policies trained via imitation learning, such as Action Chunking with Transformers (ACT), can achieve strong performance under ideal conditions but often remain sensitive to small execution errors and distribution shifts. Correcting these failures typically requires dataset aggregation and full-policy retraining, which is computationally expensive and unsuitable for real-time deployment. In this work, we propose Online Residual Policy Adaptation (ORPA), a framework that enables immediate, feedback-driven correction of robot actions without modifying the underlying policy parameters. ORPA augments a pretrained control policy with a lightweight, feedback-conditioned module that predicts residual adjustments directly in joint space, allowing the system to adapt its behavior at runtime. We evaluate ORPA on a set of precision-sensitive manipulation tasks using the ALOHA platform, demonstrating improvements in success rate and recovery from small perturbations compared to baseline control policies and rule-based inverse kinematics corrections.

arXivで原文を読む →arXiv概要ページ