何が起きたか
研究チームは2024年6月27日、Minecraft環境でのオープンワールド指示追従エージェントを実現するVision-Language-Action (VLA) モデル「OmniJARVIS」を発表した。従来手法がテキスト目標を別のコントローラに渡すか、直接制御コマンドを生成するのに対し、OmniJARVISはマルチモーダル相互作用データの統一的トークン化により、強力な推論と効率的な意思決定を両立する。
詳細
OmniJARVISは、行動軌跡τ = {o_0, a_0, ...}を離散トークン化する行動エンコーダを自己教師あり学習で獲得し、そのトークンに基づく模倣学習ポリシーデコーダを備える。これらの行動トークンを事前学習済みマルチモーダル言語モデルの語彙に追加し、タスク指示・記憶・思考・観察・テキスト応答・行動軌跡などの長期マルチモーダル相互作用を統一的トークン列にパッキングして自己回帰トランスフォーマーでモデル化する。これにより、チェーン・オブ・ソートの生成による推論、計画、質問応答、行動トークン生成による行動が可能となる。Minecraftの原子・プログラム・オープンエンドタスクの包括的コレクションで優れた性能を示し、相互作用データ形成・統一的トークン化・スケーリング可能性に関する設計原則を分析した。データセット・モデル・コードはhttps://craftjarvis.org/OmniJARVISで公開予定。
Key Facts
| OmniJARVISは、Minecraftのオープンワールド環境で指示追従エージェントを実現するVLAモデルである。 | [1] |
| 行動軌跡を離散トークン化する行動エンコーダを自己教師あり学習で獲得し、模倣学習ポリシーデコーダを備える。 | [1] |
| 行動トークンを事前学習済みマルチモーダル言語モデルの語彙に追加し、タスク指示・記憶・思考・観察・テキスト応答・行動軌跡を統一的トークン列として自己回帰トランスフォーマーでモデル化する。 | [1] |
| Minecraftの原子・プログラム・オープンエンドタスクの包括的コレクションで優れた性能を示した。 | [1] |
| データセット・モデル・コードはhttps://craftjarvis.org/OmniJARVISで公開予定。 | [1] |
なぜ重要か
OmniJARVISは、言語と行動を統一的に扱うVLAモデルの新たな設計指針を示すものであり、オープンワールド環境での指示追従エージェントの実現に向けた一歩となる。行動トークンの導入は、推論と行動のシームレスな連携を可能にし、今後のロボット制御やゲームAIなどの分野に影響を与える可能性がある。