日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.10894

検索ガイダンスによるゼロショットVLA適応

Zero-Shot VLA Adaptation with Retrieved Guidance

シェア:XThreadsFacebookLINEはてブBluesky

ドメイン不一致の実演データセットから検索した軌道を幾何校正と粗密検索で変換し、フローマッチング推論を誘導することで、VLAモデルを再学習せずに新環境へ適応させる手法を提案した。

詳しい要約

1. どんなもの?

- 大規模な実演データセットで事前学習した VLA モデルを、新しい target domain に zero-shot 適応させる手法 RAGu の提案。 - 対象は camera viewpoint・background・object identity・robot morphology などの小さな domain shift でも性能が落ちる問題。 - Retrieval-Augmented Generation (RAG) に着想を得て、domain-mismatched な in-the-wild 実演データセット(例: DROID)から検索した軌道で VLA の挙動を誘導する。 - 実世界・simulation・sim-to-real・cross-embodiment humanoid manipulation で評価。

2. 先行研究と比べてどこがすごい?

- 従来の VLA は学習データに対する小さな domain shift でも苦戦するのに対し、retrieval で target domain の挙動を補助する点が新しい。 - RAG をロボティクスへ適用する際の課題(domain 間の幾何的差異、候補選択、base model の再学習や context window 拡張の制約)に対処している。 - base VLA の再学習や context window 拡張をせずに誘導する点が、関連する baseline との違いとして示唆される。 - 実世界で成功率 20%→80% と報告。

3. 技術・手法の肝は?

- 幾何的 calibration により source demonstration を target setup へ変換し、cross-domain 差を低減。 - coarse-to-fine retrieval 戦略で、事前に warp した多数の候補から base VLA と最も整合する trajectory を選択。 - base model の再学習や限られた context window の拡張ではなく、VLA の flow-matching inference 手続きを guidance する。

4. どうやって有効だと検証した?

- 実世界、simulation、sim-to-real transfer、cross-embodiment humanoid manipulation の各設定で RAGu を評価。 - 実世界の VLA 成功率が 20% から 80% へ改善。 - sim において最も関連の近い baseline を上回る結果。

5. 議論はある?

- 要旨からは不明(具体的な限界・失敗事例・計算コスト・retrieval データ依存性などの議論は記述されていない)。 - 評価設定の詳細や baseline の内訳も要旨からは不明。

6. 次に読むべき論文は?

- Retrieval-Augmented Generation (RAG) - DROID(in-the-wild demonstration dataset) - flow-matching に基づく VLA(base VLA として言及) - 比較対象の closest-related baselines(個別名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Subin Kim, Anh-Quan Pham, Dinesh Jayaraman

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Pre-training large parametric "Vision-Language-Action" (VLA) models on large demonstration datasets has recently yielded promising results for general-purpose manipulation. However, these models still struggle under even small domain shifts relative to the training data, such as changes in camera viewpoint, background, object identity, or robot morphology. Motivated by the success of Retrieval-Augmented Generation (RAG) in language models, we pursue retrieval to boost VLA performance. Specifically, we seek to leverage retrieval from domain-mismatched, "in-the-wild" demonstration datasets like DROID to guide a VLA's behavior in a new target domain. To achieve this, we introduce RAGu, which overcomes robotics-specific challenges for RAG: (1) It incorporates simple geometric calibration to transform source demonstrations into the target setup and reduce cross-domain differences. (2) It uses a coarse-to-fine retrieval strategy that selects, from a large pool of pre-warped candidates, the trajectory most compatible with the base VLA. (3) It guides the VLA's flow-matching inference procedure rather than seeking to retrain the base model or expand its limited context window. We evaluate RAGu across real-world, simulation, sim-to-real transfer, and cross-embodiment humanoid manipulation. We find it improves real-world VLA success rates from 20% to 80% and outperforms the closest-related baselines in sim. Project website: raguvla.github.io

関連論文

  1. 1パナソニックHDら、ロボット操作AI「T-Rex」を共同開発 12タスクで平均成功率65%研究・技術
  2. 2Hugging Face、ロボット学習基盤「LeRobot v0.7.0」を公開 対話操作と大規模データ学習に対応新製品・発表
  3. 3NVIDIA、Vera CPUのエージェント処理性能を公表 x86比で速度・電力効率を比較半導体・GPU
  4. 4Agility、SPAC合併でナスダック上場資金調達
  5. 5智元、清華大学などとCELを発表 96台のロボットで群体学習を検証研究・技術
PR本紙発行元 EmplifAI