日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.22077

再帰的動画予測による潜在行動事前学習

ReLAP: Latent Action Pretraining through Recurrent Video Prediction in JEPA Space

シェア:XThreadsFacebookLINEはてブBluesky

凍結したJEPA表現空間で再帰的な多段予測と潜在行動学習を組み合わせ、VLMに転移してロボット行動を事前学習する手法を提案。

詳しい要約

1. どんなもの?

- ReLAPは、action annotationなしの動画からロボット制御のためのlatent actionを事前学習するフレームワーク。 - 凍結したJEPA表現空間で、局所的な遷移学習とrecurrentな多段階予測を組み合わせる。 - 学習した表現をVLMに転移し、robot demonstrationsでaction flow matchingにより適応。 - 展開時はlatent-action/world-model分岐を除去し、fine-tuned VLMが直接physical actionを予測。

2. 先行研究と比べてどこがすごい?

- 従来のlatent actionは局所遷移(ペアワイズ再構成)に偏りがちだが、ReLAPはrecurrent multi-step predictionで時間的に一貫したダイナミクスを捉える。 - 各予測特徴が次遷移のcontextとなり、後段誤差がrolloutを通じて前段latent actionへ逆伝播する点が特徴。 - 11M pretraining samples・1.06B trainable parametersという比較的小規模設定でLIBERO 97.9%、zero-shot LIBERO-Plus 70.0%を達成。 - LARY latent-action benchmarkでmean regression errorとmean classification accuracyの両方で2位。

3. 技術・手法の肝は?

- 凍結JEPA表現空間上で、shared inverse dynamics modelが隣接観測からcompact continuous latent actionを推論。 - latent world modelが将来のJEPA特徴をrecurrentに予測し、各予測特徴を次遷移のcontextとしてrollout。 - VLMへの転移は2目的: 凍結inverse teacherからのlatent distillationと、凍結latent world modelによるrecurrent future-feature prediction。 - その後action flow matchingでrobot demonstrationsに適応。deployment時は明示的分岐を削除しVLMが直接action予測。

4. どうやって有効だと検証した?

- LIBEROで97.9%、zero-shot LIBERO-Plus perturbationsで70.0%を達成。 - LARY latent-action benchmarkでmean regression errorとmean classification accuracyの両指標で比較手法中2位。 - 11M pretraining samples、1.06B trainable parametersの設定で評価。 - 詳細なablationやベースライン比較の内訳は要旨からは不明。

5. 議論はある?

- recurrentなaction-free latent action pretrainingが、compactで時間構造を持ち転移可能な表現を学習できることを示唆。 - deployment時にlatent-action/world-model分岐を除去でき、推論複雑性を低減できる点を主張。 - 限界や失敗事例、計算コスト、JEPA空間選択の影響などは要旨からは不明。

6. 次に読むべき論文は?

- JEPA(例: I-JEPA/V-JEPA系の表現学習)関連論文。 - latent action learningの代表的手法(例: LAPO、LAPA、UniVLAなど)。 - LIBEROおよびLIBERO-Plusのbenchmark論文。 - LARY latent-action benchmarkの論文。 - action flow matchingおよびVLMベースのrobot policy(例: OpenVLA系)関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: R. Gnana Praveen, Ali Rouzbayani, Zhiying Jiang, Bidhan Roy

分類: cs.RO

原文アブストラクト

Videos provide a rich source of physical interaction for learning robot behavior without action annotations, yet effective latent actions must capture not only local transitions but also how those transitions evolve over time. We introduce ReLAP, a latent-action pretraining framework that couples local transition learning with recurrent multi-step prediction in a frozen JEPA representation space. A shared inverse dynamics model infers compact continuous latent actions from adjacent observations, while a latent world model recurrently predicts the future JEPA features. Because each predicted feature becomes the context for the next transition, errors at later steps backpropagate through the rollout to earlier latent actions, encouraging temporally coherent dynamics beyond pairwise reconstruction. We transfer this representation to a vision-language model using two complementary objectives: latent distillation from the frozen inverse teacher and recurrent future-feature prediction through the frozen latent world model. The resulting policy is then adapted to robot demonstrations with action flow matching. At deployment, the explicit latent-action and world-model branches are removed, and the fine-tuned VLM predicts physical actions directly, reducing inference complexity. With only 11M pretraining samples and 1.06B trainable parameters, ReLAP achieves 97.9% on standard LIBERO and 70.0% over zero-shot LIBERO-Plus perturbations. On the LARY latent-action benchmark, ReLAP ranks second in both mean regression error and mean classification accuracy among the compared methods. These results demonstrate that recurrent action-free latent action pretraining can learn compact, temporally structured, and transferable representations for downstream robot control.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5NTT、ロボットの行動前に荷崩れを予測研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI