日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.27794

マルチビュー潜在アクション事前学習による動画からの異形態ロボット学習

Multi-View Latent Action Pretraining for Cross-Embodiment Robot Learning from Videos

シェア:XThreadsFacebookLINEはてブBluesky

複数カメラ視点の同期動画からクロスアテンションで奥行きと遮蔽を解消し潜在アクションを学習する手法を提案し、単一視点より6D行動の復元性と下流タスク成功率が向上することを示した。

詳しい要約

1. どんなもの？

- 複数視点の動画から latent action を学習する LAM（Latent Action Model）の提案 - 同期した multi-camera views を入力とする点が特徴 - 学習した latent action を下流のロボット policy の事前学習に利用 - 対象は cross-embodiment 設定 - タスク固有のデモが別 embodiment 由来でも学習可能か評価 - 最終的に実機へ転移 - 人間の手によるデモからの学習を含む

2. 先行研究と比べてどこがすごい？

- 既存 LAM は単一カメラ視点のみを観測 - 6D robot actions の解決が曖昧で、out-of-plane movements や occlusions を扱えない - 提案法は multi-view 入力を cross-attention で統合 - depth と occlusions を解決してから latent action に圧縮 - 単一視点データを2桁スケールしても out-of-plane motions を完全には回復できないと示す - 視点追加の優位性を定量的に主張 - 単一 cross-embodiment で skill transfer が可能 - 2つ目の視点追加が最大4つの追加 embodiment より有効と報告

3. 技術・手法の肝は？

- 同期 multi-camera views を入力とする LAM - cross-attention により視点間情報を統合し depth・occlusions を解決 - その後フレーム間の抽象行動を latent action として圧縮 - 下流 policy の構成 - frozen VLM backbone を中心に据える - latent expert と action expert を sequential flow matching で結合 - 学習の流れ - 動画から latent action を事前学習 - その latent action を policy 学習の監督信号として利用

4. どうやって有効だと検証した？

- 単一視点 vs 二視点 LAM の比較 - ground-truth 6D actions の decodability が 17% 改善 - 単一視点データを2桁スケールしても out-of-plane motions の回復は不十分 - 下流 policy の success rate - 二視点 LAM で +13.5%、単一視点 LAM で +6.2% - cross-embodiment 設定の評価 - 単一 cross-embodiment で skill transfer が成立 - 2視点追加が最大4 embodiment 追加を上回る - 実機評価 - 人間の手によるデモを用い、850 rollouts で action-only policy 比 +20%

5. 議論はある？

- video と robot data は complementary であると主張 - 動画からの学習の利点は task-dependent - タスクによって効果が異なる点を明示 - 単一視点の限界 - データ量のスケールだけでは out-of-plane motions を補えない - 視点追加と embodiment 追加のトレードオフ - 視点追加の方が効率的な場合があると示唆 - 詳細な限界や失敗事例は要旨からは不明

6. 次に読むべき論文は？

- 比較対象の single-view LAM（既存 LAM） - frozen VLM backbone を用いる VLA 系手法 - flow matching を用いた policy 学習 - cross-embodiment 学習の関連研究 - 詳細な引用は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Oliver Hausdörfer, Felix Minzenmay, Mani Majd, Maximilian P. Christof, Shiyuan Zhang, Angela P. Schoellig

分類: cs.RO

原文アブストラクト

Action-free videos are an appealing substitute for costly teleoperated data. Latent action models (LAMs) turn videos into a supervision signal by inferring abstract actions between frames. Existing LAMs observe a single camera view, which resolves 6D robot actions only ambiguously missing out-of-plane movements and potential occlusions. We propose a LAM that ingests synchronized multi-camera views using cross-attention to resolve depth and occlusions before compressing them into latent actions. The latent actions are fed into a policy in which a latent expert and an action expert are coupled by sequential flow matching around a frozen VLM backbone. We further evaluate in strict cross-embodiment settings where task-specific demonstrations come from other embodiments. We show that dual-view LAM pretraining improves the decodability of ground-truth 6D actions by 17% compared to single-view, while scaling single-view data by two orders of magnitude is not sufficient to fully recover out-of-plane motions. The downstream policy improves success rate by +13.5% compared to +6.2% for single-view LAM. A single cross-embodiment is sufficient for skill transfer, and adding a second viewpoint outperforms adding up to four further embodiments. The results transfer to hardware where demonstrations come from a human hand improving success rate by +20% over action-only policies in 850 rollouts. We show that video and robot data are complementary, and that benefits of learning from video are task-dependent. Website: https://learnsyslab.github.io/multiview_latent_action_pretraining/

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI