F4R: 失敗駆動型の認識・再構築・洗練・再展開によるロボットの継続的自己改善

本論文は、vision-language-action models (VLA) の実世界性能を制約する要因（expert demonstrations の限界と物理的相互作用の理解不足）に対処するため、Failure for Rising (F4R) を提案する。F4R は failure-driven な real-to-sim-to-real 閉ループ学習フレームワークであり、実世界の失敗を対象とした policy 改善に変換する。具体的には、agent が rollout から失敗を自動識別・診断し、各失敗を task-relevant な空間的・物理的条件を保持した interactive で object-centric な table-top 環境として再構築する。その後、failure-conditioned sim-real co-training と再構築環境での targeted reinforcement learning により policy を洗練し、改善された policy を再展開する。新たに観測された失敗は次の再構築・学習サイクルに継続的にフィードバッ…

従来の一般的な対処法は、新たに遭遇した失敗の実世界 demonstrations を追加収集することだが、これは高コスト・非効率・潜在的に危険・スケール困難である。F4R は追加の実世界 corrective demonstrations を収集することなく、失敗を real-to-sim-to-real 閉ループで活用して policy を改善する点が優れている。実世界評価では、4つの manipulation tasks において In-Distribution で 93.75%、Out-of-Distribution (OOD) で 90.0% の成功率を達成し、budget-matched な Targeted BC baseline を OOD 条件下で 18.75 パーセンテージポイント上回った。

F4R の肝は以下の通り。 - agent による rollout からの失敗の自動識別と診断。 - 各失敗を task-relevant な空間的・物理的条件を保持した interactive で object-centric な table-top 環境として再構築。 - failure-conditioned sim-real co-training と再構築環境での targeted reinforcement learning による policy 洗練。 - 改善された policy の再展開と、新たに観測された失敗の次の再構築・学習サイクルへの継続的フィードバック。 これにより real-to-sim-to-real の閉ループ学習を実現する。

実世界評価を4つの manipulation tasks で実施した。結果として、In-Distribution で 93.75%、Out-of-Distribution (OOD) で 90.0% の成功率を達成した。また、budget-matched な Targeted BC baseline と比較し、OOD 条件下で 18.75 パーセンテージポイント上回った。追加の実世界 corrective demonstrations を収集することなくこの性能を達成した。

要旨からは不明。

要旨で参照・比較されている研究として Targeted BC baseline が挙げられる。関連手法として vision-language-action models (VLA)、real-to-sim-to-real 学習、failure-driven learning、reinforcement learning、sim-real co-training などが考えられるが、具体的な論文名は要旨からは不明。