TrAct、ロボット制御と視覚予測を「視覚トラック」で橋渡し 成功率を27%→55%に向上

何が起きたか

arxiv.orgに2026年8月25日付で公開された論文で、ロボット制御と視覚予測を橋渡しする新たなフレームワーク「TrAct」が提案された。TrActは、ロボットの行動を画像空間の変化と弱く対応させるのではなく、タスク関連点の動きを表す「視覚トラック」を中間表現として用いる。提案されたLIBERO-INTEGRALベンチマークと実機Frankaマニピュレーションの実験では、強力なVLAベースラインπ0.5と比較して、シミュレーションで成功率が27%から55%へ、実機タスクで49%から76%へ向上した。

詳細

TrActは3つのコンポーネントで構成される。①現在の観測と言語指示から候補となる行動と対応する視覚トラックを同時に予測するVision-Language-Action-and-Trackモデル(VLAT)、②提案されたトラックを条件として将来の視覚的結果を予測するトラック条件付き世界モデル(TWM)、③予測された結果を評価する視覚言語報酬モデル(VLAC)。推論時には、VLATが候補の行動-トラックペアを生成し、TWMがその視覚的結果を展開し、VLACが指示に最も適合する結果を持つトラックを選択し、そのトラックとペアの行動をロボットが実行する。実験では、TWMは行動条件付き世界モデル(AWM)と比較してビデオ予測品質を一貫して向上させた。

Key Facts

本紙の見方

今回の提案は、ロボットの行動を直接条件とした世界モデルではなく、視覚トラックという「身体非依存」の表現を介在させる点に新規性がある。ロボットの行動は関節角度やトルクなど身体固有の形式で表現されるため、画像空間の変化との対応が弱く、世界モデルの条件信号として不十分だった。視覚トラックはタスク関連点の動きを画像空間で密に表現するため、予測の精度と空間的な正確さを高める。この発想は、ロボットの制御と視覚予測を「同じ言語」で結ぶ試みであり、身体の違いを超えた汎化を狙う点で、既存のVLAモデルとは一線を画す。 本稿の実験結果は、視覚トラックが単なる補助情報ではなく、世界モデルの精度を実質的に向上させることを示している。成功率の向上幅はシミュレーションで28ポイント、実機で27ポイントと大きく、ベースラインのπ0.5が強いモデルであることを考慮すると、視覚トラックの導入効果は顕著だ。また、TWMがAWMを上回るビデオ予測品質を示したことは、トラック条件が将来予測により適した条件付けであることを示唆する。 業界構造への含意として、このアプローチはロボットの基盤モデル開発において、行動表現の設計が重要であることを再確認させる。現在のVLAモデルは行動を直接トークン化することが多いが、TrActのように中間表現を導入することで、データ効率や汎化性能が向上する可能性がある。また、視覚トラックはシミュレーションと実機のギャップを埋める手段としても有望で、Sim-to-Real転移の課題に対する一つの解となり得る。 未確定の論点としては、TrActのスケーラビリティが挙げられる。実験はLIBERO-INTEGRALとFrankaマニピュレーションに限定されており、より多様なタスクやロボットでの検証が必要だ。また、視覚トラックの生成に必要な計算コストや、VLATの学習に必要なデータ量も不明である。さらに、実機での成功率76%は高いが、残りの24%の失敗要因の分析も今後の課題となる。

なぜ重要か

ロボットの世界モデルは、行動を条件とする従来手法では身体固有の表現に縛られ、汎化が難しかった。TrActは視覚トラックという身体非依存の表現を導入することで、制御と予測の橋渡しを実現し、成功率を大幅に向上させた。これは、ロボット基盤モデルの設計に新たな方向性を示すものであり、今後のロボット学習の効率化と汎化性能の向上に寄与する可能性がある。