進捗関係からロボットの報酬を学習するEvent2Reward

- ロボット実演から dense shaping reward を構築するための進捗推定手法 Event2Reward を提案する研究。 - 正規化した実演時間を進捗ラベルとして使う従来の絶対進捗前提に対し、stall・regression・recovery といった局所的な相対進捗関係を活用する。 - 推定した進捗を potential として reward shaping に用い、強化学習の政策学習を効率化する。 - 約100K件の実ロボット実行記録から event 注釈付きデータセットを構築し、成功・準最適・失敗実行を含む。

- 従来は正規化実演時間を進捗ラベルとし、進捗が単調増加すると暗黙に仮定していた。 - 探索中の stall や regression を進捗と誤認し、進捗を損なう行動に正の shaping reward を与える問題があった。 - Event2Reward は絶対進捗が不明な失敗・準最適実行でも、軌跡内の相対進捗関係で局所変化を制約できる。 - 絶対進捗 supervision と相対進捗関係を併用する点が新規で、同一訓練予算で sparse reward baseline を大きく上回る。

- 正規化時間ラベルで進捗スケールを anchor し、軌跡内の stall・regression・recovery 関係で局所変化を制約する。 - 絶対進捗 supervision と相対進捗 supervision を組み合わせて進捗予測器を学習する。 - 予測進捗を potential として reward shaping に変換し、下流の強化学習に利用する。 - 約100K件の実ロボット記録から event 注釈付きデータセットを構築し、フレーム単位の絶対進捗ラベルを不要とする。

- LIBERO の4スイート・40タスクで、同一訓練予算のもと sparse task reward のみの baseline に対し平均政策成功率を18.16ポイント改善。 - 実ロボットでは30分の wall-clock 訓練後、3つの precise insertion タスクで平均60.0%、3つの object manipulation タスクで平均90.0%の成功率。 - 同一予算の sparse-reward baseline をそれぞれ36.7ポイント、23.3ポイント上回った。 - Ablation で絶対進捗 supervision と相対進捗関係が相補的であり、併用が下流政策学習を改善することを示した。

- 絶対進捗 supervision と相対進捗関係の併用が有効であることを Ablation で示している。 - 実ロボットの成功・準最適・失敗実行を含むデータで、フレーム単位の絶対進捗ラベルなしに学習できる点を主張。 - ただし要旨からは、失敗の種類やタスク分布の偏り、event 注釈コスト、他ロボットへの汎化性についての議論は不明。 - 訓練予算や評価タスク数は限定的で、より広い実環境での検証は要旨からは不明。

- 正規化実演時間を進捗ラベルとする従来の progress model 関連研究。 - sparse reward を用いる強化学習 baseline（LIBERO 上の比較対象）。 - potential-based reward shaping の理論・手法。 - 実演からの reward learning や inverse reinforcement learning の関連研究。 - 失敗・準最適実行を活用する robot learning データセット研究。