何が起きたか
2023年7月28日、arXivに公開された論文で、Googleの研究チームは視覚言語行動モデル（VLA）の例としてRT-2を提案した。RT-2は、ロボットの観測から行動へのマッピングを学習しつつ、ウェブ規模の視覚言語データの事前学習の利点を活用する。6,000回の評価試験により、新規物体への汎化、訓練データにないコマンドの解釈、基本的な推論能力の獲得が示された。
詳細
RT-2は、最先端の視覚言語モデルをロボットの軌跡データとウェブ規模の視覚言語タスク（視覚質問応答など）で共同微調整する。行動をテキストトークンとして表現し、自然言語トークンと同じように訓練セットに組み込む。これにより、単一のエンドツーエンドモデルでロボット制御と大規模事前学習の利点を両立する。評価では、新規物体への汎化、特定の数字やアイコンへの配置などの未学習コマンドの解釈、最小・最大・他物体に最も近い物体の選択などの基本的推論、チェーン・オブ・ソートによる多段階推論（即席ハンマーに適した物体の選択、疲れた人に適した飲み物の選択）が確認された。
Key Facts
| RT-2は、視覚言語モデルをロボット制御に直接組み込む視覚言語行動モデル（VLA）の例である。 | [1] |
| RT-2は、ロボットの行動をテキストトークンとして表現し、自然言語トークンと同様に訓練セットに組み込む。 | [1] |
| RT-2は、ロボット軌跡データとウェブ規模の視覚言語タスクで共同微調整される。 | [1] |
| 評価は6,000回の試験で行われ、新規物体への汎化、未学習コマンドの解釈、基本的推論などの創発的能力が確認された。 | [1] |
| チェーン・オブ・ソート推論により、多段階のセマンティック推論（即席ハンマーに適した物体の選択など）が可能になる。 | [1] |
なぜ重要か
RT-2は、ロボットがウェブ上の知識を直接活用して行動を決定できることを示し、ロボットの汎用性向上に寄与する。これは、ロボットの応用範囲を拡大し、産業や日常生活での活用を促進する可能性がある。また、視覚言語モデルとロボット制御の融合は、AIの新たな研究方向を示すものであり、今後の技術発展の基盤となる。