何が起きたか
研究チームは2024年6月28日、ロボット学習データを拡張するフレームワーク「LLaRA: Large Language and Robotics Assistant」をarXivで公開した。LLaRAは、視覚言語モデル(VLM)をロボットの行動生成に転用するVLAモデルであり、既存の行動クローニングデータセットから会話形式の指示チューニングデータを自動生成する。
詳細
LLaRAは、ロボットの行動ポリシーを視覚・テキストの会話として定式化し、事前学習済みVLMを効率的にVLAへ転用する。自動パイプラインにより、既存の行動クローニングデータセットから会話形式の指示チューニングデータを生成し、ロボットの行動を画像のピクセル座標と整合させる。さらに、追加の行動アノテーションを必要とせず、6つの補助タスクを定義してデータセットを自己教師ありで拡張する。実験では、複数のシミュレーションおよび実世界タスクで最先端の性能を達成し、大規模言語モデルの汎化能力を維持したとしている。コード、データセット、事前学習モデルはGitHubで公開されている。
Key Facts
| LLaRAは、ロボットの行動ポリシーを視覚・テキストの会話として定式化し、事前学習済みVLMをVLAへ転用するフレームワークである。 | [1] |
| 既存の行動クローニングデータセットから会話形式の指示チューニングデータを自動生成するパイプラインを提案している。 | [1] |
| 追加の行動アノテーションを必要とせず、6つの補助タスクを定義してデータセットを自己教師ありで拡張する。 | [1] |
| 複数のシミュレーションおよび実世界タスクで最先端の性能を達成し、大規模言語モデルの汎化能力を維持したとしている。 | [1] |
| コード、データセット、事前学習モデルはGitHubで公開されている。 | [1] |
なぜ重要か
LLaRAは、ロボット学習におけるデータ不足という根本的な課題に対して、既存のデータを効率的に活用する手法を提案している。これにより、VLAモデルの実用化が進み、ロボットの知能化が加速する可能性がある。また、データ生成の自動化は、ロボット学習の民主化につながる点で重要である。