3D世界で知覚・推論・行動する汎用エージェント「LEO」を発表

何が起きたか

研究チームは、3D世界で動作する身体化されたマルチモーダル汎用エージェント「LEO」を発表した。LEOは、3D視覚言語アライメントと3D視覚言語行動指示チューニングの2段階で訓練され、3Dキャプション、質問応答、身体化推論、ナビゲーション、操作などのタスクで優れた能力を実証した。

詳細

LEOは、大規模言語モデルから得られる知識を活用し、3D入力の処理、3D世界に本質的に定義されたタスク（3D接地、身体化推論、行動）を扱うことを目的とする。訓練は統一されたタスクインターフェース、モデルアーキテクチャ、目的関数を用いて2段階で行われる。第1段階は3D視覚言語アライメント、第2段階は3D視覚言語行動指示チューニングである。研究チームは、オブジェクトレベルとシーンレベルの多様なタスクを含む大規模データセットを収集し、LLM支援パイプラインで高品質な3D視覚言語データを生成した。実験では、3Dキャプション、質問応答、身体化推論、ナビゲーション、操作など幅広いタスクでLEOの顕著な能力を示した。

Key Facts

本紙の見方

今回の発表は、大規模言語モデルの知識を3D世界の身体化エージェントに統合する試みとして位置づけられる。既存のモデルは2D画像に依存し、3D入力の処理や3D世界に固有のタスク（3D接地、身体化推論、行動）を十分に扱えていないという課題に対し、LEOは統一されたタスクインターフェースと2段階の訓練手法で対応している。この点は、3D視覚と言語、行動を統合する研究の進展を示すものであり、ロボティクスや拡張現実などへの応用が期待される。ただし、論文では実験結果の詳細や実環境での性能は明らかにされておらず、シミュレーション環境での評価に留まる可能性がある。また、データセットの規模や品質、訓練コストなどの具体的な数値も示されていないため、実用化にはさらなる検証が必要である。業界構造への含意としては、3Dデータの収集とアノテーションの重要性が高まり、LLMを活用したデータ生成パイプラインが標準化される可能性がある。今後の焦点は、実世界でのロボット制御への適用や、より複雑なタスクへの拡張、そして訓練データの効率的な収集方法になるだろう。

なぜ重要か

LEOは、3D世界で言語理解と行動を統合するエージェントの新たな可能性を示す。これは、ロボットが実世界で複雑な指示を理解し実行するための基盤技術として重要であり、今後の身体化AIの研究開発に影響を与えるとみられる。