事前学習から熟達へ：最小限の人的介入で長期的マニピュレーションを実現する実世界サブタスクRL

- 長期的なロボット操作タスクにおいて、事前学習済みの foundation policy が大部分を実行できても一部の critical subtask で繰り返し失敗する問題を扱う。 - 提案手法 PARTS (Policy Adaptation with RL on Targeted Subtasks) は、実世界 subtask RL フレームワークであり、ボトルネックに練習を集中させ、最小限の人間介入で訓練ロールアウトを進める。 - 凍結した pretrained policy が nominal action を供給し、agent 生成の selector と success verifier が residual correction を活性化し、local outcome reward を与える。 - 訓練は online RL と success-reweighted retraining を組み合わせ、再訓練された residual policy を再配置して経験を収集する。 - 人間はセットアップ時にボトルネックを特定し、必要に応じて物理的リセットを行う。

- 既存の RL fine-tuning は sparse reward のみで long-horizon タスクを解くのが難しい。 - 追加の full-task demonstration による SFT は、既に得意な行動をオペレータが繰り返す必要がある。 - PARTS は、同じ robot-rollout budget の下で既存の real-world RL fine-tuning 手法と比較して full-task success を 25% 以上向上させ、人間の関与を少なくする。 - bimanual YAM と single-arm Franka タスクで、complete-task success をそれぞれ 32%→61%、50%→95% に改善。 - タスクあたり平均数十分の real-world RL rollout で実現。

- 凍結した pretrained policy が実行全体で nominal action を供給する。 - agent 生成の selector と success verifier が residual correction を活性化し、local outcome reward を提供する。 - これらの reward により、complete-task success が稀でも successful subtask から学習できる。 - 訓練は online RL と success-reweighted retraining を組み合わせる。 - 再訓練された residual policy を再配置してさらなる経験を収集する。 - 人間はセットアップ時にボトルネックを特定し、必要に応じて物理的リセットを行う。

- bimanual YAM と single-arm Franka のタスクで評価。 - complete-task success が bimanual YAM で 32% から 61% へ、single-arm Franka で 50% から 95% へ改善。 - タスクあたり平均数十分の real-world RL rollout を使用。 - 既存の real-world RL fine-tuning 手法と比較して、同じ robot-rollout budget で full-task success を 25% 以上向上。 - 人間の関与も少なくて済むことを示した。

- 要旨からは不明。

- 要旨で参照/比較されている既存の real-world RL fine-tuning 手法。 - 関連手法として supervised fine-tuning (SFT) による full-task demonstration 収集。 - 同分野の定番として robot foundation policy の pretraining と RL fine-tuning に関する研究。