不完全なデモから精密な進捗推定を学習する手法PRIME

- ロボットマニピュレーションの強化学習における dense reward 用の progress estimator を学習する手法 PRIME の提案。 - 高精度 manipulation では subtle な geometric error が失敗につながるため、imprecise な demonstration から precise な progress estimation を行う。 - 複数 trajectory の経験を集約し、観測状態上の weighted graph を構築する。 - 時間方向の単調性を仮定せず、成功までの geodesic distance の変化で advancement / stagnation / setback を区別する。

- 既存手法は expert data に強く依存し、demonstration 内の全 action が成功に寄与すると naive に仮定していた。 - そのため human mistake を meaningful progress と誤解し、progress learning を corrupt する問題があった。 - 本研究は task evaluation criteria に関する global prior の欠如を主要な limitation と指摘。 - PRIME は trajectory 横断で経験を集約することで、imprecise demonstration からでも precise な推定を可能にする。 - 高精度シナリオほど優位性が顕著で、charger insertion では SFT baseline 比で policy success rate が最大 5× 改善。

- 観測状態上に weighted graph を構築し、trajectory 間の状態を spatial proximity と visual consistency に基づき接続。 - edge weight に spatial distance を transition cost としてエンコード。 - shortest-path search により成功までの geodesic distance を近似。 - この距離の変化が advancement / stagnation / setback を自然に区別し、時間に対する monotonic progress を仮定しない。 - 複数 trajectory の集約により global prior を獲得し、human mistake と meaningful progress を区別。

- simulation と real world の両方で precise manipulation task に対して extensive experiments を実施。 - 多様なタスクで一貫した有効性を確認。 - 様々な程度の suboptimality を持つデータに対して robust であることを示す。 - 高精度シナリオで優位性が顕著になり、charger insertion で SFT baseline 比最大 5× の policy success rate 改善を報告。

- 既存手法の「全 action が成功に寄与する」という仮定が実世界、特に高精度 manipulation で破綻することを議論。 - subtle な geometric error が失敗につながる点を指摘。 - global prior の欠如が meaningful progress と human mistake の区別を困難にする主要因と論じる。 - 具体的な限界や失敗ケースについての詳細は要旨からは不明。

- 要旨で比較対象として明示されている SFT baseline に関する研究。 - progress estimator を用いた dense reward 設計に関する既存研究（具体的な論文名は要旨からは不明）。 - geodesic distance や shortest-path を用いた reward shaping 関連手法。 - 高精度 manipulation における imitation learning / reinforcement learning の定番研究。