動画生成とロボット制御を単一バックボーンで統合するTAPESTRY

- 動画生成とロボット制御を単一のバックボーンで扱う world action model「TAPESTRY」の提案。 - 事前学習済み video diffusion transformer をロボット policy に転用する枠組み。 - 推論時に動画生成を必要とせず、action token 列を生成して制御する。 - シミュレーション benchmark と実機実験の両方で評価。

- 従来の video 事前学習活用は、テスト時の video 生成コストが大きい、または action head をゼロから学習し pretrained backbone を十分活用できない問題があった。 - TAPESTRY は action を video patch token として同一 backbone で処理し、backbone を最大限再利用。 - 推論時は full video 生成を回避し、単一 DDIM step で action chunk を生成。 - 同等の joint video-action policy より推論コストを大幅に低減。

- robot action を video model の latent 空間における single-patch token として扱う。 - 軽量 linear projection で各 action timestep を pretrained VAE の patch 次元に写像。 - その token を video と同じ patchifying layers と transformer backbone で処理。 - 共有 backbone を minibatch 要素ごとに3つの diffusion 目的で最適化。 - Video diffusion: robot/human video の VAE latent で dynamics prior を獲得。 - Joint video+action diffusion: coupled diffusion timestep と asymmetric attention mask を使用。 - Action-only diffusion: clean image latent を条件に a…

- シミュレーション benchmark と実機ロボット実験の両方で評価。 - 同等の joint video-action policy と比較し、強い性能と大幅に低い推論コストを報告。 - consumer hardware 上で action chunk あたり 84 ms の生成を達成。 - 詳細な benchmark 名・実機タスク設定は要旨からは不明。

- 推論時 video 生成を不要にしつつ pretrained backbone を活用する設計の有効性を主張。 - 単一 DDIM step で滑らかな action chunk を生成できる点を利点として提示。 - 限界・失敗事例・ablation の詳細は要旨からは不明。 - 3つの diffusion 目的の寄与や mask 設計の影響は要旨からは不明。

- 比較対象として言及される joint video-action policy 関連研究（例: video diffusion を policy に転用する手法）。 - 事前学習済み video generation model を制御に用いる研究（video pretraining for robot control）。 - diffusion policy 系の action 生成手法（DDIM による action chunk 生成）。 - VAE latent を用いる video diffusion transformer 系の基盤モデル。 - 具体的な論文名は要旨からは不明。