多様な成功デモンストレーションを自動生成する模倣学習データ収集手法

- ロボットマニピュレーションの behavior cloning 用の学習データを効率的に生成する手法 DiscoDemo の提案。 - RL を展開時のコントローラではなく、下流の visuomotor imitation learning のためのデータ生成器として位置づける。 - 複数の成功解モード（solution modes）を持つデータが、単一の狭い解を繰り返し集めるより広い成功軌道をカバーするという前提に基づく。 - privileged な latent-conditioned RL generator を訓練し、複数の成功 closed-loop 挙動を生成して静的データセットとして出力する。

- 従来の behavior cloning は訓練データの coverage に敏感で、多様な成功 demonstration の収集コストが高いという課題がある。 - 単一の狭い解を繰り返し収集するのではなく、複数の成功解モードを発見することで広い成功軌道カバレッジを得る点が特徴。 - 4つの manipulation タスクで、シミュレーションでは最強 baseline の 40% から 62% へ、実機では 39% から 78% へ下流の成功率が向上。 - pretrained flow-matching VLA に対しても有効で、corrective data collection と相補的であることを示唆。

- privileged な latent-conditioned RL generator を訓練する。 - parallel reverse curriculum を用いて学習を効率化する。 - success-gated diversity objective により、タスク成功を保ちつつ解の多様性を促進する。 - 訓練済み generator が複数の成功 closed-loop 挙動を生成し、それらを safety-filter して静的データセットとして下流の imitation learning にエクスポートする。

- 4つの manipulation タスクで評価を実施。 - シミュレーションと実世界の両方で、下流の visuomotor policy の性能を検証。 - タスク平均で、シミュレーションの下流成功率が最強 baseline の 40% から 62% へ向上。 - 実機では 39% から 78% へ向上。 - 成功状態のカバレッジがより広くなることも確認。

- 成功解の多様性が imitation learning を改善することを示唆。 - pretrained flow-matching VLA に対しても有効で、corrective data collection と相補的であると議論。 - RL を展開時コントローラではなくデータ生成器として使う設計の有効性を示す。 - 限界や失敗ケース、safety-filter の詳細、他タスクへの一般化については要旨からは不明。

- 要旨で比較対象として明示された最強 baseline の具体名は要旨からは不明。 - 関連手法として behavior cloning、visuomotor imitation learning、flow-matching VLA、corrective data collection、reverse curriculum を挙げる。 - 同分野の定番として RL による demonstration 生成や privileged learning に関する研究を次に読むべき。