日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

潜在行動学習arXiv:2611.26617

1つの事前学習モデルから2つのダイナミクスを:動画拡散Transformerを潜在行動学習に転用

One Prior, Two Dynamics: Repurposing Video Diffusion Transformers for Self-Supervised Latent Action Learning

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済み動画生成モデル(DiT)を逆ダイナミクスと順ダイナミクスの両方の初期値として使い、ラベルなし動画から転移可能な潜在行動を学習する手法O²LaFを提案。ナビゲーションとロボット操作でfew-shot行動プロービングのSOTAを達成。

詳しい要約

1. どんなもの?

- ラベルなし動画から潜在行動(latent action)を学習する手法 O$^{2}$LaF を提案する研究。 - 基本原則は「one prior, two dynamics」で、事前学習済み video DiT を inverse dynamics と forward dynamics の両方の prior として再利用する。 - inverse dynamics は learnable action queries を持つ feed-forward transition encoder、forward dynamics は causal で action-conditioned な video generator として構成される。 - 目的は、visual transitions から転移可能な行動を獲得し、その帰結を予測できるようにすること。

2. 先行研究と比べてどこがすごい?

- 従来の latent action learning は underlying dynamics をほぼゼロから学習するのに対し、本手法は pretrained video generator を inverse/forward 両 dynamics の prior として使う点が新しい。 - 単一の pretrained video DiT から二つの dynamics を初期化し、それぞれの役割に適応させる枠組みを導入。 - navigation と robotic manipulation において few-shot action probing で新たな state of the art を達成。 - visual contexts や embodiments をまたぐ zero-shot action transfer がより強くなる。 - generative video priors だけでなく V-JEPA2 のような predictive representation priors にも枠組みを拡張でき、競争力のある性能を示す。

3. 技術・手法の肝は?

- 同一の pretrained video DiT を inverse dynamics と forward dynamics の両方の初期値として用いる。 - inverse dynamics: feed-forward transition encoder に learnable action queries を付与し、遷移から行動を推定。 - forward dynamics: causal かつ action-conditioned な video generator として動作。 - 情報アクセスを制御し、compact bottleneck を通して両 dynamics を end-to-end で最適化することで、unlabeled videos から transferable actions を学習。 - 枠組みは generative video priors に限らず、V-JEPA2 などの predictive representation priors にも適用可能。

4. どうやって有効だと検証した?

- navigation と robotic manipulation のタスクで評価。 - few-shot action probing において新たな state of the art を達成することで有効性を検証。 - visual contexts と embodiments をまたぐ zero-shot action transfer の強化を確認。 - generative video priors に加え V-JEPA2 ベースの predictive representation priors でも競争力のある性能を得て、枠組みの一般性を検証。 - 具体的なデータセット名や評価指標の詳細は要旨からは不明。

5. 議論はある?

- 事前学習済み video model を再利用して転移可能な行動を発見し、その帰結を予測するという広いパラダイムを提示。 - generative video priors と predictive representation priors の両方で機能し得ることを示唆。 - 一方で、失敗事例や限界、計算コスト、bottleneck 設計の感度など具体的な議論は要旨からは不明。

6. 次に読むべき論文は?

- 本手法が prior として利用・拡張している video DiT 系の video diffusion transformer 研究。 - predictive representation prior として比較・拡張されている V-JEPA2。 - latent action learning の代表的手法(要旨では個別名の参照なし)。 - video generation を forward dynamics として用いる action-conditioned video generation 研究(要旨では個別名の参照なし)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuxin Jiang, Wenqiang Sun, Jiaqi Li, Yuchao Gu, Lvmin Zhang, Ivor Tsang, Mike Zheng Shou

分類: cs.CV, cs.AI, cs.LG, cs.RO

原文アブストラクト

Videos reveal how the world changes, but rarely the actions that cause those changes. Latent action learning recovers such supervision from visual transitions, yet often learns the underlying dynamics largely from scratch. We ask whether a pretrained video generator can instead provide the prior for both inverse and forward dynamics. We introduce O$^{2}$LaF, built on a simple principle: one prior, two dynamics. We initialize both models from the same pretrained video DiT and adapt them to their distinct roles: a feed-forward transition encoder with learnable action queries for inverse dynamics, and a causal, action-conditioned video generator for forward dynamics. By controlling information access and optimizing both dynamics end-to-end through a compact bottleneck, O$^{2}$LaF learns transferable actions from unlabeled videos. Across navigation and robotic manipulation, O$^{2}$LaF sets a new state of the art in few-shot action probing and enables stronger zero-shot action transfer across visual contexts and embodiments. Beyond generative video priors, we further extend our framework to predictive representation priors such as V-JEPA2, achieving competitive performance. Our findings suggest a broader paradigm for latent-action learning: repurposing pretrained video models to discover transferable actions and predict their consequences.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収
  5. 5NVIDIA、SC26で科学研究向けAIエージェントとHPC基盤を発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI