デモンストレータのマルチモーダリティを明示的に捉え拡散ポリシーへ蒸留する手法

- 拡散ポリシー（diffusion policy）の蒸留において、demonstrator の多峰性（multi-modality）を明示的に捉えるためのデータ収集・学習手法を扱った研究。 - 蒸留された diffusion policy の出力多様性が、成功率だけでなく test-time search や policy improvement などの下流応用の探索に重要である点に着目。 - 標準的な behavior cloning のデータ収集（sliding window）が持つ曖昧さを、vine sampling の導入で解消することを提案。

- 従来の behavior cloning では sliding window により、近傍の観測サンプルに対して多様な行動が紐づき、多峰性か高 Lipschitz 定数の単峰性かの区別が曖昧になる。 - 先行研究では、sparse なデータで学習した diffusion policy が観測ごとに1つの行動を記憶する（単峰的に陥る）ことが報告されている。 - 本研究は vine sampling により同一観測から demonstrator を k 回クエリすることで、この曖昧さを解消し、条件付き行動分布の再現を目指す点が新しい。

- behavior cloning のデータ収集に vine sampling を適応：demonstrator が訪れる一部の状態で、全く同じ観測から k 回クエリして行動を収集。 - 観測あたりの行動数 k を変化させ、学習される policy への影響を合成タスクで分析。 - 蒸留先は diffusion policy であり、demonstrator の条件付き行動分布（多峰性・多様性）の再現を狙う。

- 合成タスク（synthetic task）で、観測あたりの行動数 k が学習 policy に与える影響を検証。 - k が大きいほど demonstrator の条件付き分布（多峰性・多様性を含む）により一致する policy が得られることを確認。 - 2D truck unloading タスクでも vine sampling により demonstrator に近い policy が得られ、best-of-N と expert iteration の性能が大幅に改善。

- 蒸留 diffusion policy の出力多様性が下流応用（test-time search、policy improvement）に重要であるという動機が示されている。 - k の増加が条件付き分布の再現性を高めることが示唆されるが、k の選択やコスト、他タスクへの一般性に関する議論は要旨からは不明。 - 単峰性に陥る問題への対処として vine sampling が有効である一方、その限界や適用条件は要旨からは不明。

- 要旨で直接参照されている先行研究：sparse データで diffusion policy が観測ごとに1行動を記憶することを報告した研究（behavior cloning における diffusion policy の記憶に関するもの）。 - 関連手法：behavior cloning、diffusion policy、vine sampling、best-of-N、expert iteration。 - 同分野の定番として、imitation learning における multi-modality を扱う手法や、diffusion policy の蒸留に関する研究を次に読む候補として挙げられる。