VLA/世界モデル2026/8/25arXiv:2608.24101

TrAct: ロボット制御と視覚予測を視覚トラックで橋渡しする

TrAct: Bridging Robot Control and Visual Prediction with Visual Tracks

ロボットの行動と画像変化の弱い対応を補うため、視覚トラックを中間表現として用いる世界モデルベースの意思決定フレームワークTrActを提案。シミュレーションと実機で成功率を大幅に向上させた。

詳しい要約

1. どんなもの？

TrActは、ロボットの意思決定を視覚的なトラック（visual tracks）を介して行う世界モデルベースのフレームワークである。VLAT（Vision-Language-Action-and-Track model）が現在の観測と言語指示から候補となるアクションと対応するvisual tracksを予測し、TWM（track-conditioned world model）がそのtracksに基づいて未来の視覚的結果を予測し、VLAC（vision-language reward model）が予測結果をスコアリングして最適なtracksを選択し、そのtracksに対応するアクションを実行する。

2. 先行研究と比べてどこがすごい？

従来のロボット世界モデルはアクションを条件として未来予測を行っていたが、アクションはembodiment-specificであり画像空間の変化と弱い対応しかない。TrActはvisual tracksを中間表現として用いることで、embodiment-agnosticで密な画像空間のガイダンスを提供し、予測精度と汎化性能を向上させる。

3. 技術・手法の肝は？

TrActは3つのコンポーネントからなる。VLATは観測と言語指示からアクションとvisual tracksを共同で予測する。TWMはtracksに条件付けられた未来のビデオ予測を行う。VLACは予測された未来のビデオを言語指示に照らしてスコアリングし、最適なtracksを選択する。推論時には、VLATが候補を生成し、TWMが展開し、VLACが選択する。

4. どうやって有効だと検証した？

提案されたLIBERO-INTEGRALベンチマークと実世界のFranka操作タスクで評価した。シミュレーションでは成功率が27%から55%に、実世界では49%から76%に向上した（強力なVLAベースラインπ0.5と比較）。また、TWMはアクション条件付き世界モデル（AWM）よりもビデオ予測品質が一貫して向上した。

5. 議論はある？

要旨からは、visual tracksがロボット制御と視覚予測の効果的な共有インターフェースであることが示されたが、具体的な限界や議論は記載されていない。

6. 次に読むべき論文は？

要旨で参照されているπ0.5ベースラインや、関連する世界モデル研究（例：action-conditioned world model）が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhi Cao, Howard Ji, Kevin Zhang, Kuangzhi Ge, Li Fei-Fei, Jiajun Wu, Huang Huang

分類: cs.RO

原文アブストラクト

Robot actions are inherently embodiment-specific and only weakly aligned with image-space visual changes, limiting their effectiveness as conditioning signals for robot world models. In contrast, visual tracks provide an embodiment-agnostic representation of how task-relevant points move through a scene, offering dense image-space guidance for accurate and spatially precise future video prediction. Building on this observation, we propose TrAct, a world-model-based robot decision-making framework that uses visual tracks as an intermediate interface between control and prediction. TrAct consists of three components: a Vision-Language-Action-and-Track model (VLAT) that jointly predicts candidate actions and corresponding visual tracks from the current observation and language instruction; a track-conditioned world model (TWM) that predicts future visual outcomes conditioned on the proposed tracks; and a vision-language reward model (VLAC) that scores the predicted outcomes. At inference time, VLAT generates candidate action-track pairs, TWM rolls out their visual consequences, and VLAC selects the track whose predicted outcome best satisfies the instruction; the action paired with the selected track is then executed by the robot. Experiments on the proposed LIBERO-INTEGRAL benchmark and real-world Franka manipulation show that TrAct improves success rates from 27% to 55% in simulation and from 49% to 76% on real-world tasks compared with the strong VLA baseline $π_{0.5}$. Furthermore, TWM consistently improves video prediction quality over the action-conditioned world model (AWM). These results demonstrate that visual tracks provide an effective shared interface between robot control and visual prediction, enabling more accurate world modeling and stronger robot generalization.

arXivで原文を読む →arXiv概要ページ