TS-WAM、行動ラベルなし動画も使うロボット制御モデルを発表

何が起きたか

TS-WAMは2026-10-15、視覚言語ロボット制御向けの「Temporal Latent Actions and World-Action Coupling for Vision-Language Robot Control」を公開した。行動ラベル付きのロボット実演だけでなく、行動ラベルのない人間動画も学習に使い、現在の観測と指示から潜在行動を予測し、その先の視覚特徴を見通して行動生成に反映する設計である。推論時にはEMA target branchを外し、軽量なまま運用する構成としている。

詳細

TS-WAMは、self-supervised temporal learningとexplicit future predictionを中核に置く。vlm-jepaは、ロボット実演とaction-free human videosを含むheterogeneous dataを学習し、別途学習したexternal teacherを必要としないEMA target branchを用いる。 さらに、vlm-jepaとdelta-lwmを組み合わせることで、現在の観測とinstructionからlatent actionsを予測し、それを用いてfuture visual featuresを見積もり、推論時のaction generationを導く。学習はtemporal representation learning、visual dynamics、robot controlを一体で最適化するend-to-end構成で、latent-actionやworld-modelの個別事前学習段階は置かない。

Key Facts

本紙の見方

TS-WAMの新しさは、ロボット実演だけでなく行動ラベルのない人間動画を取り込み、さらに将来の視覚特徴を明示的に予測して制御へつなげている点にある。単なる視覚言語行動モデルではなく、時系列表現学習、視覚ダイナミクス、制御をend-to-endで束ねているため、入力データ、内部表現、出力行動の間にある変換を一段多く設けた構造だと読める。一方で、推論時にはEMA target branchを外し、学習時の重さと運用時の軽さを分けているため、研究用の複雑さをそのままデプロイに持ち込まない設計でもある。 本紙の関連記事はないため、過去報道との継続線は置けないが、論点としては「行動ラベル付きデモ中心」から「行動ラベルなし動画を含む時系列学習」への拡張が主題である。ここで重要なのは、追加されたのが単なるデータ量ではなく、未来視覚予測を介したworld-action couplingである点だ。つまり、入力データの種類を増やしただけではなく、データをどのような中間表現に変換して制御へ渡すかを設計している。これは、デモの条件に過適合しやすいという原典が挙げる弱点への応答として理解できる。 業界構造でみると、この研究はロボット制御のボトルネックを「行動ラベル付き実演の収集」だけでなく、「実世界の動画から制御に使える表現を作れるか」に移している。もしaction-free videosが有効に使えるなら、データ収集の中心は実機テレオペレーションから、より広い観測データの選別と統合へ寄る可能性がある。ただし、論文要旨の範囲では、どの程度のデータ規模でどの条件に強いのか、実機での成功率がどのタスクでどこまで安定するのかは読み切れない。LIBERO系ベンチマークとFranka Research 3、RevoTronの結果が示す範囲はあるが、汎用展開にはタスク数、失敗モード、推論速度、学習データ構成の確認が必要になる。 未確定の論点は、action-free human videosがどの程度まで性能に寄与したのか、EMA target branchの寄与の分離、delta-lwmとの結合でどのタスクに優位が出たのか、そして実機でのロバスト性がどの程度再現可能かである。特に、学習に使った異種データの内訳や、future visual featuresの予測精度が制御性能にどう結びつくかは、本文要旨だけではまだ見えない。

なぜ重要か

行動ラベル付きデモに依存しない設計は、ロボット制御の学習入力を広げる可能性がある。TS-WAMは、ロボット実演とaction-free human videosを同時に扱うことで、制御モデルの学習対象を「実演の再現」から「将来状態の予測を伴う制御」へ広げる構造を示した。