方策校正DAgger：模倣学習のためのオフライン校正ノイズ注入

- 本論文は、模倣学習におけるcovariate shift問題に対処するための新しい手法「Policy-Calibrated DAgger」を提案している。 - この手法は、生成的なポリシー（特にdiffusion policy）の特性を利用し、オフラインでポリシーのノイズを推定する。 - 具体的には、専門家の軌跡上の観測において予測される行動の分布の広がりを測定し、記録された軌跡に対する閉ループ誤差を測定する。 - マルチモーダルな行動空間での誤差測定の問題に対処するため、部分的なdenoisingを用いて閉ループ制御中にポリシーを軌跡に誘導し、diffusion modelの特性を利用して誘導しなかった場合の誤差にunnormalizeする。 - ロボットが clutter で狭い環境でエンジンレバーに到達するタスクを設定し、3Dフォトリアリスティックシミュレータと2Dプラナーリーチャー環境で実験を行っている。

- 既存の手法は、ポリシーが失敗する、または失敗しそうな場所で追加データを収集することでcovariate shiftを緩和するが、一つはロボットを危険な状態に置き、もう一つは適切なノイズ分布を選択する必要がある。 - 提案手法は、最近の生成ポリシーの特性を利用して、ポリシー自身の予測行動分布からオフラインでノイズを推定するため、追加のデータ収集やノイズ分布の選択を必要としない。 - 実験結果では、ノイズなしのdataset aggregationで訓練されたポリシーを上回り、後知恵で最良のノイズレベルと同等の性能を達成し、ノイズレベルのスイープを必要としない。

- 提案手法の肝は、diffusion policyの予測行動分布の広がりを利用して、オフラインでポリシーのノイズを推定することである。 - 専門家軌跡上の観測で予測行動の分散を測定し、閉ループ誤差を測定する。 - マルチモーダル行動空間での誤差測定の問題に対処するため、部分的なdenoisingを用いてポリシーを軌跡に誘導し、diffusion modelの特性を利用して測定誤差をunnormalizeする。 - これにより、誘導なしの誤差を推定し、適切なノイズレベルを決定する。

- ロボットが clutter で狭い環境でエンジンレバーに到達するタスクを設定し、3Dフォトリアリスティックシミュレータと2Dプラナーリーチャー環境で実験を行った。 - 提案手法が、ノイズなしのdataset aggregationで訓練されたポリシーを上回り、後知恵で最良のノイズレベルと同等の性能を達成することを示した。 - ノイズレベルのスイープを必要としないことも示した。

- 要旨からは、提案手法の限界や議論についての明示的な記述はない。 - ただし、マルチモーダル行動空間での誤差測定の問題に対処するために部分denoisingとunnormalizeを用いている点が技術的な課題として挙げられる。 - また、実験は特定のタスクと環境に限定されているため、一般性についてはさらなる検証が必要かもしれない。

- 要旨で参照/比較されている研究として、dataset aggregation (DAgger) が挙げられる。 - また、diffusion policy や generative policies が関連手法として言及されている。 - 同分野の定番として、imitation learning における covariate shift 対策の手法（例: DAgger, DART, など）が次に読むべき論文として考えられる。