RT-1: Robotics Transformer for Real-World Control at Scale

RT-1は、Googleが2022年に発表した、ロボットの操作タスクを大規模に学習するためのトランスフォーマーベースのモデルである。この論文は、ロボットのポリシーを、画像と言語指示を入力として、直接アクションを出力する単一のニューラルネットワークとして定式化し、実世界のデータで大規模に訓練することを提案した。従来のロボット学習は、タスクごとに個別のモデルを設計・訓練するのが一般的であり、データの効率や汎化に課題があった。RT-1は、この問題に対して、トランスフォーマーの自己回帰的な性質を利用し、画像のシーケンスとテキスト指示をトークン化して処理することで、多様なタスクを単一のモデルで扱えるようにした点が新しい。 RT-1の仕組みは、まずロボットのカメラ画像を事前学習済みの視覚エンコーダ（EfficientNetなど）で特徴ベクトルに変換し、これをトークンとして扱う。言語指示はテキストエンコーダで埋め込みに変換され、これらをトランスフォーマーのデコーダに入力する。デコーダは、アクションを表す離散トークンを自己回帰的に生成する。アクションは、アームの位置・回転・グリッパーの開閉などの7次元の連続値であり、これを256個のビンに離散化してトークン化する。この離散化により、トークン生成を分類問題として扱うことができ、トランスフォーマーの標準的な訓練手法を適用できる。また、RT-1は、データ収集に13台のロボットを用いて、約13万エピソード（700以上のタスク）を収集し、大規模な実世界データで訓練した。 この論文が画期的だったのは、ロボットのポリシーを「視覚と言語からアクションへのマッピング」として統一し、トランスフォーマーのスケーリング則をロボット学習に適用した点である。それ以前は、模倣学習や強化学習でタスクごとにモデルを訓練するのが一般的で、新しいタスクには再訓練が必要だった。RT-1は、大規模なデータとモデルサイズによって、未見のタスクや新しい物体・環境に対してゼロショットまたは少数ショットで汎化できることを示した。具体的には、訓練に含まれない新しいタスクや、背景や物体の配置が変わった状況でも、高い成功率を達成した。これは、ロボットが実世界で柔軟に動作するための基盤となる能力であり、従来の手法では困難だった。 フィジカルAIの観点では、RT-1はロボット基盤モデルの先駆けとなり、その後のVLA（Vision-Language-Action）モデル、例えばRT-2やPaLM-E、OpenVLAなどに直接的な影響を与えた。RT-1は、ロボットの行動生成を言語モデルと統合する可能性を示し、大規模な事前学習と実世界データの組み合わせが、ロボットの汎用性を飛躍的に向上させることを実証した。また、RT-1の設計思想は、ロボットの制御をトークン生成として扱うことで、自然言語処理で発展したトランスフォーマー技術をそのまま応用できる点にあり、これによりロボット学習のスケーラビリティが大幅に向上した。現在のロボット基盤モデルの研究は、RT-1の枠組みを拡張し、より多様なセンサーやアクション、さらには世界モデルとの統合を目指しており、RT-1はその出発点として重要な位置を占めている。