DR-VLA: 一人称視点のWeb動画からドメイン不変なシーン表現を介して人間らしい四足歩行ナビゲーションを学習

本論文は、四足歩行ロボットの屋外配送ナビゲーションを、人間の一人称視点ウェブ動画から学習するフレームワーク DR-VLA を提案する。 - 構成: Mixture-of-Transformers で vision-language 理解・latent world modeling・flow-matching action expert を統合。 - データ: EgoLynx を構築。EgoLynx-Web は 10,000 時間のキュレーション済み一人称ウェブ動画、EgoLynx-Robot は実配送中の遠隔操作ロボットナビ 2,000 クリップ。 - 目的: ロボット実演収集の高コストを回避し、人間のナビ経験をロボットへ転移する。

先行研究と比べ、一人称ウェブ動画とロボット実演の視点・運動差を domain-invariant scene representation (DISR) で吸収する点が新しい。 - 従来はロボット実演が高コストで、ウェブ動画の転移は視点・運動差で困難だった。 - 提案は DISR を future-prediction target とし、5 つの generic visual representations を上回り、専用の幾何ラベルや point clouds なしで task-specific 3D perception に近い性能を示す。 - また NAVSIM v1 で 92.1 PDMS を達成し、自動運転への適用可能性も示唆。

技術の肝は、Mixture-of-Transformers による理解・世界モデル・行動の統合と、DISR によるドメイン不変表現。 - EgoLynx-Web で action labels なしに understanding と world experts を pretrain。 - その後、ロボット観測に適応し、EgoLynx-Robot で action expert を訓練して実行可能軌道を予測。 - DISR を future-prediction target として用い、視点・運動差を吸収。 - 評価指標 Quadruped Navigation Score (QNS) を提案。safety・instruction compliance・comfort・progress を統合した pseudo-closed-loop 指標。

held-out EgoLynx-Robot test split で検証。 - DR-VLA は QNS を約 5% 改善し、open-loop final heading error (FHE) を 14.6% 削減。それぞれその指標の最良競合結果に対する相対値。 - Ablations で web-video pretraining が generalization を改善し、主要コンポーネントが性能に寄与することを確認。 - DISR は future-prediction target として 5 つの generic visual representations を上回り、task-specific 3D perception に近い性能。 - NAVSIM v1 で web pretraining なしに 92.1 PDMS を達成。

議論として、ウェブ動画 pretraining が generalization を改善すること、DISR が幾何ラベルや point clouds なしで有効な future-prediction target となることが示される。 - 一方、限界や失敗事例、計算コスト、倫理面などの詳細は要旨からは不明。 - QNS は pseudo-closed-loop 指標であり、実世界での完全な closed-loop 評価ではない点に注意。

要旨で参照・比較されている研究や関連手法を挙げる。 - NAVSIM v1 (自動運転ベンチマーク) - generic visual representations (5 つ) - task-specific 3D perception - Mixture-of-Transformers - flow-matching action expert - latent world modeling - vision-language understanding - 同分野の定番として quadruped navigation、egocentric video learning、domain-invariant representation 関連の研究。