日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.26438

リスク制御付きテスト時適応による視覚言語行動モデル

Risk-Controlled Test-Time Adaptation for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

検索拡張VLAモデルが取得した専門家デモを有効活用できるかを不確実性予測で判断し、ユーザー指定の成功率を満たすようリスク制御するフレームワークR2-VLAを提案した。

詳しい要約

1. どんなもの?

- Retrieval-augmented VLA モデルの test-time adaptation における失敗問題に対処するフレームワーク R2-VLA を提案 - 専門家デモを retrieval memory として活用し、モデルパラメータ更新なしで適応 - ユーザ指定の task success rate を満たすよう risk control を行う - 不確実性予測に基づき自律行動か専門家支援要請かを判断

2. 先行研究と比べてどこがすごい?

- 従来の retrieval-augmented VLA は、関連するデモが retrieved されても VLA が活用できず失敗しうる - R2-VLA は retrieved demonstrations の有用性を不確実性推定に結びつける - 単なる適応ではなく、task-level の risk guarantee を満たす点が新しい - 専門家支援を最小化しつつ目標成功率を達成

3. 技術・手法の肝は?

- VLA の予測行動の不確実性を推定する uncertainty predictor を学習 - retrieved demonstrations を入力に、自律行動か専門家支援要請かを誘導 - task-level risk-control procedure で不確実性閾値を校正し、ユーザ指定の task-failure risk を満たす - 専門家修正を retrieval memory に継続的に追加し、risk guarantee を保ちつつ適応を改善

4. どうやって有効だと検証した?

- 3つの VLA backbones と4つの LIBERO benchmark suites で実験 - 平均 task success が 9.2–11.2 percentage points 向上 - より少ない expert requests で目標成功率を達成 - これにより有効性を検証

5. 議論はある?

- retrieved demonstrations の有用性と task-level risk control の接続が重要と示唆 - 専門家支援要請の閾値校正により risk guarantee を維持 - 専門家修正の継続的取り込みが将来の適応を改善 - 詳細な限界や失敗事例は要旨からは不明

6. 次に読むべき論文は?

- retrieval-augmented VLA の元手法(要旨で参照される retrieval-augmented vision-language-action models) - LIBERO benchmark - test-time adaptation 関連研究 - uncertainty estimation / risk control を用いたロボット学習手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zixuan Liu, Hashem Haghbayan, Zizhan Zheng, Siavash Khajavi

分類: cs.CV

原文アブストラクト

Retrieval-augmented vision-language-action (VLA) models enable efficient test-time adaptation by leveraging expert demonstrations as additional context without updating model parameters. However, even when retrieved demonstrations are relevant to the current task, the VLA may fail to effectively utilize the retrieved information, ultimately leading to task failure. To address this challenge, we propose R2-VLA, a risk-controlled retrieval-augmented VLA framework that enables reliable test-time adaptation by satisfying a user-specified task success rate requirement with minimal expert assistance. Specifically, R2-VLA learns an uncertainty predictor that estimates the uncertainty of the VLA's predicted actions given the retrieved demonstrations, guiding when to act autonomously or request expert assistance. We further introduce a task-level risk-control procedure that calibrates the uncertainty threshold to satisfy a user-specified task-failure risk requirement. Moreover, R2-VLA continually incorporates expert corrections into its retrieval memory to improve future adaptation while preserving the prescribed task-level risk guarantee. Experiments across three VLA backbones and four LIBERO benchmark suites demonstrate that R2-VLA improves average task success by 9.2--11.2 percentage points, achieving the desired target with fewer expert requests. These results highlight the effectiveness of connecting the usefulness of retrieved demonstrations with task-level risk control to enable successful robotic manipulation.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収
  5. 5NVIDIA、SC26で科学研究向けAIエージェントとHPC基盤を発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI