Vid2WAM、ビデオ拡散事前分布を世界行動モデルに蒸留する手法を提案

何が起きたか

arXivに公開された論文で、Vid2WAMというオフライン蒸留フレームワークが提案された。Vid2WAMは、大規模ビデオ基盤モデルから視覚拡散事前分布を、コンパクトなWAM学生モデルに転送する。観察と言語命令が与えられると、タスク条件付き将来ロールアウトが学生の将来予測ブランチを直接監督し、逆動力学モデルが身体特異的な擬似行動を復元して行動学習に用いる。合成と実データの監督を統合するため、ソース認識残差行動適応を導入し、共有行動バックボーン周りでソース固有の補正を学習して、ノイズの多い擬似行動からの干渉を軽減する。推論時にはビデオ教師と逆動力学モデルは破棄され、WAM学生のみが効率的な展開に使用される。シミュレーションと実世界の実験で、限られた専門家デモの下での新規タスクの汎化とデータ効率の向上、低遅延推論の維持が示された。

Key Facts

なぜ重要か

この研究は、ロボットポリシー学習におけるWorld Action Modelsのスケーラビリティと汎化の課題に対し、専門家デモへの依存を減らす新しい蒸留手法を提案している。ビデオ基盤モデルの事前知識を活用することで、データ効率と新規タスクへの適応が向上する可能性があり、ロボット学習の実用化に寄与すると考えられる。