何が起きたか

2024年10月15日にarXivで公開された論文「Latent Action Pretraining from Videos」において、ロボットの動作ラベルを必要としない事前学習手法「LAPA（Latent Action Pretraining for general Action models）」が提案された。この手法は、インターネット上の大規模動画から潜在的な動作を学習し、視覚言語行動（VLA）モデルを事前学習する。実験では、言語条件付けや未知物体への一般化などで、既存の大規模動画学習手法や動作ラベルを用いた最先端VLAモデルを上回る性能を示したと報告されている。

詳細

LAPAは、教師なしでVLAモデルを事前学習する手法である。まず、VQ-VAEベースの目的関数を用いて、画像フレーム間の離散的な潜在動作を学習するアクション量子化モデルを訓練する。次に、観測とタスク記述からこれらの潜在動作を予測する潜在VLAモデルを事前学習する。最後に、小規模なロボット操作データで微調整し、潜在動作をロボットの実際の動作にマッピングする。実験では、人間の操作動画のみで訓練した場合でも正の転移が確認され、ウェブスケールのデータをロボティクス基盤モデルに活用できる可能性が示された。

Key Facts

LAPAは、ロボットの動作ラベルなしでVLAモデルを事前学習する教師なし手法である。[1]
LAPAは、VQ-VAEベースの目的関数を用いて離散的な潜在動作を学習する。[1]
実験では、LAPAは既存の大規模動画学習手法や動作ラベルを用いた最先端VLAモデルを上回る性能を示したと報告されている。[1]
人間の操作動画のみで訓練した場合でも正の転移が確認された。[1]

なぜ重要か

ロボット学習におけるデータ不足は長年の課題であり、LAPAはラベルなし動画を活用することでその解決に一歩近づく。この手法が確立されれば、ロボット基盤モデルの開発コストが大幅に下がり、より多様なタスクへの適応が進む可能性がある。