TAPESTRY、動画生成モデルをロボット制御に転用 1回のDDIMステップで行動列を生成

何が起きたか

arXiv掲載論文「TAPESTRY: A Single Backbone for Video Generation and Robot Control」は2026年10月27日、事前学習済み動画拡散Transformerをロボット制御に転用する手法を発表した。TAPESTRYは動画を生成せず、ノイズから1回のDDIMステップでコンパクトな行動トークン列を生成する。論文によると、一般向けハードウェアで行動チャンク当たり84ミリ秒で生成でき、シミュレーションと実ロボットの実験で評価した。

詳細

各時刻のロボット行動を、事前学習済みVAEのパッチ次元に合わせる軽量な線形射影でトークン化し、動画と同じパッチ化層およびTransformerバックボーンで処理する。学習では、ロボット・人間の動画を使う動画拡散、ロボットの実演データを使う動画・行動の同時拡散、クリーンな画像潜在表現を条件とする行動のみの拡散という3つの目的を、ミニバッチ要素ごとに適用する。動画・行動の同時拡散には、連動する拡散タイムステップと非対称のアテンションマスクを用いる。 推論時には純粋なノイズから行動トークン列を1回のDDIMステップで生成する。論文は、これにより動画全体を生成する推論コストを避け、一般向けハードウェアで1行動チャンク当たり84ミリ秒を実現すると説明している。シミュレーションベンチマークと実ロボット実験で「強い性能」を得たとの記述はあるが、要旨には個別のスコアや実験条件の詳細は示されていない。

Key Facts

本紙の見方

今回の技術的な軸は、動画生成モデルの能力をロボットに使うこと自体より、動画生成と行動生成を同じTransformerバックボーンで扱いながら、推論時の動画生成を省いた点にある。従来の選択肢として論文が挙げるのは、推論時に動画を生成する計算負荷の高い方法と、事前学習済みバックボーンを十分に活用しない行動ヘッドを一から学習する方法だ。TAPESTRYは行動を動画潜在空間のパッチトークンに対応させ、共通の処理経路に載せることで、この二つの構成上の課題に対処しようとしている。 構造上の特徴は、動画と行動を単に同時に出力するのではなく、ロボット・人間の動画から物理的な動きの事前情報を学ぶ目的、ロボット実演で動画と行動を結び付ける目的、画像を条件に行動だけを生成する目的を分けていることだ。とくに動画・行動の同時拡散では、連動する拡散タイムステップと非対称アテンションマスクを使う。したがって、動画表現を行動へ接続する設計と、推論時に動画生成を省く設計が一体になっている。ただし、要旨だけでは各目的の寄与や、どのデータが性能を左右したかは判別できない。 論文が示す1行動チャンク当たり84ミリ秒は、生成単位と実行速度を結び付ける具体的な指標だ。一方、チャンク内の行動数、使用したハードウェア、観測取得やロボットへの送信を含む制御ループ全体の遅延は要旨に記載されていない。この値だけから、実機の制御周期や他方式に対する速度優位を一般化することはできない。動画全体を推論時に生成しない設計が、ロボット上の計算資源にどの程度の差を生むかも、同一条件での比較が必要になる。 業界構造への含意としては、動画データで事前学習した基盤モデルを、ロボットの実演データと行動トークンを介して制御へつなぐ構成が示された点が挙げられる。動画の事前学習資産をロボットに転用できる可能性を示す一方、実演データの量や質、画像条件の変化への頑健性、機体ごとの行動表現の違いが適用範囲を左右するとみられる。次に確認すべきなのは、ベンチマークごとの数値、比較対象と実験条件、チャンクの長さ、実ロボットでの成功率や安全性、異なる機体への適用結果である。要旨はシミュレーションと実ロボットの双方で評価したと述べるが、それらの詳細までは示していない。

なぜ重要か

動画拡散Transformerの表現をロボット行動の生成に共有し、推論時には動画全体を生成せず1回のDDIMステップで処理する設計は、動画生成を伴う方式の計算負荷を避ける選択肢となる。論文が報告する84ミリ秒は1行動チャンク当たりの値であり、実際の制御ループ全体の遅延や実機での適用条件とは区別して評価する必要がある。