ロボット操作VLAモデル、人間の活動動画で事前学習 100万エピソードのデータセット構築

何が起きたか

研究チームは、ロボット操作のためのVLAモデルを、注釈なしの実生活の人間の活動動画で事前学習する手法を発表した。この手法では、人間の手を器用なロボットのエンドエフェクタとみなし、任意の人間の手の動画から原子レベルの活動セグメントと言語記述、フレーム単位の3D手の動きとカメラの動きを自動生成する。これにより、100万エピソード・2600万フレームのデータセットを構築し、モデルを事前学習した。

詳細

研究チームは、注釈なしの実生活の人間の活動動画を、既存のロボットVLAトレーニングデータとタスクの粒度とラベルに関して完全に整合するデータ形式に変換する手法を開発した。この手法は、任意の人間の手の動画に対する全自動の総合的な人間活動分析アプローチに基づく。生成されるデータセットは、実生活の幅広い物体、概念、器用な操作タスク、環境の変化をカバーし、既存のロボットデータの範囲を大幅に超える。モデルは、未見の実世界の観測に対して強いゼロショット性能を示し、少量の実ロボットの行動データで微調整することで、タスク成功率と新規物体への一般化が大幅に向上した。また、事前学習データの規模に対するタスク性能のスケーリング挙動も示された。

Key Facts

なぜ重要か

この研究は、ロボット操作の学習データを人間の活動動画から大規模に調達する道を開くものであり、ロボットの汎用性向上に寄与する可能性がある。データ収集のコストと多様性の課題を解決する糸口として、今後のロボット学習の方向性に影響を与えるだろう。