FIERCE: 進捗-失敗フィードバックによる汎用ロボット方策から高速専門家への変換

- 汎用ロボットポリシーを初期値として、限られた実機相互作用からコンパクトな専門ポリシーへ高速に洗練する強化学習フレームワーク FIERCE を提案。 - 中心は unified で task-adaptive な progress-failure evaluator。 - 展開時には compact specialist のみを保持する。

- 従来の汎用ポリシー洗練は、継続的な generalist action queries や専用の target-task simulator、手動注釈付き dense rewards を要することが多い。 - FIERCE はこれらを必要とせず、限られた物理相互作用から informative な学習フィードバックを得る点が異なる。 - 要旨からは、具体的な先行研究名や定量比較は不明。

- evaluator は observation-language representation を共有し、observed-progress head と action-conditioned latent predictor を備える。 - latent predictor の past/current 予測を causal sequence head に渡し、task-failure を推定。 - progress と preference ラベル、同期した commands/observations、terminal outcomes による joint supervision で evaluator を訓練。 - target-task rollouts で適応と calibration を行う。 - 固定した evaluator snapshot が progress shaping と failure-risk penalty を与え、独立検証された terminal reward と併用。 - evaluator と policy の更新を交互に行い、新経験を収集。

- 評価は simulation と2つの contact-rich real tasks で実施。 - feedback quality、policy-learning efficiency、deployment cost を分離して検証。 - 具体的なベースラインや指標の詳細は要旨からは不明。

- 要旨からは、限界や失敗事例、計算コスト、スケーラビリティに関する議論は不明。 - コード、モデル重み、データ復元ツールが公開されている点は記載。

- 要旨で参照・比較されている個別研究は不明。 - 関連手法として generalist robot policies、reinforcement learning、progress shaping、failure prediction、preference-based learning などが挙げられる。 - 同分野の定番として、汎用ロボットポリシーの fine-tuning や sim-to-real 転移に関する研究を読むとよい。