日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.09684

時空間不確実性を考慮したデータ効率の高い視覚-言語-行動学習フレームワークSURE

SURE:Spatiotemporal Uncertainty Representation for Efficient Vision-Language-Action Learning

シェア:XThreadsFacebookLINEはてブBluesky

操作タスクにおける行動の空間的・時間的な不確実性を明示的にモデル化し、少ないデモデータでも高い成功率を達成するVLA学習手法を提案した。

詳しい要約

1. どんなもの?

- Vision-language-action (VLA) ポリシーのためのデータ効率の良い学習フレームワーク SURE を提案 - 行動空間に存在する空間的・時間的な不確実性を明示的にモデル化する - VLA backbone に軽量な transposed-convolutional な確率的 action decoder を追加 - Soft-DTW alignment supervision を導入し、予測と実演の action chunk 間の局所的なタイミング変動を許容 - LIBERO、RoboTwin 2.0、実世界の manipulation タスクで評価

2. 先行研究と比べてどこがすごい?

- 標準的な pointwise supervision は各実演行動を厳密な目標として扱い、不確実性下で不要な学習負担を課す - SURE は空間的不確実性と時間的不確実性の両方を明示的に扱う点が異なる - 実演者固有の姿勢や実行タイミングへの感度を低減 - 10% の実演データまたは 20% の学習ステップでも baseline VLA に匹敵または上回る成功率を達成

3. 技術・手法の肝は?

- VLA backbone に lightweight transposed-convolutional probabilistic action decoder を付加 - 隣接する action bin 間の局所相関を通じて空間的不確実性を捉える - Soft-DTW alignment supervision により、予測 action chunk と実演 action chunk の局所的なタイミング変動を吸収 - これら2要素で実演者固有の姿勢・実行タイミングへの感度を下げ、データ効率の良い行動学習を可能にする

4. どうやって有効だと検証した?

- LIBERO、RoboTwin 2.0、実世界 manipulation タスクで評価 - 10% の実演データのみ、または 20% の学習ステップのみの場合でも、baseline VLA と同等以上の manipulation 成功率を達成 - 具体的な baseline 名や指標の詳細は要旨からは不明

5. 議論はある?

- 空間的・時間的不確実性を明示的にモデル化することの有効性を示唆 - データ効率と学習ステップ効率の両面での利点を主張 - 限界や失敗事例、計算コスト、他タスクへの一般化については要旨からは不明

6. 次に読むべき論文は?

- Soft-DTW を用いた imitation learning / action chunking 関連研究 - 確率的 action decoder や不確実性を考慮した VLA ポリシー - LIBERO や RoboTwin 2.0 をベンチマークとする VLA 研究 - 具体的な参照論文は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jingye Zhang, Choo Sin Wai, Dake Zhong, Zhifang Liu, Yuhong Zhang, Siyao Xiao, Guorui Song, Guocun Wang, Dongbin Zhang, Peng Jiao, Haoqian Wang

分類: cs.RO, cs.AI

原文アブストラクト

Vision-language-action (VLA) policies have become a promising paradigm for end-to-end robot control, but their effectiveness still depends heavily on large volumes of demonstration data. In manipulation tasks, this dependence is compounded by structured spatiotemporal uncertainty in the action space: multiple nearby actions or trajectories may successfully solve the same task, while semantically equivalent demonstrations often unfold at different speeds. Standard pointwise supervision treats each demonstrated action as an exact target, imposing an unnecessary learning burden under such uncertainty. We present SURE, a data-efficient VLA training framework that explicitly models both spatial and temporal uncertainty. SURE augments a VLA backbone with a lightweight transposed-convolutional probabilistic action decoder that captures spatial uncertainty through local correlations among neighboring action bins. It further introduces Soft-DTW alignment supervision to accommodate local timing variations between predicted and demonstrated action chunks. Together, these two components reduce sensitivity to demonstrator-specific poses and execution timing, enabling more data-efficient action learning. We evaluate SURE on LIBERO, RoboTwin 2.0, and real-world manipulation tasks. Even with only 10% of the demonstration data or 20% of the training steps, SURE achieves manipulation success rates that match or surpass baseline VLAs.

関連論文

  1. 1パナソニックHDら、ロボット操作AI「T-Rex」を共同開発 12タスクで平均成功率65%研究・技術
  2. 2Hugging Face、ロボット学習基盤「LeRobot v0.7.0」を公開 対話操作と大規模データ学習に対応新製品・発表
  3. 3Agility、SPAC合併でナスダック上場資金調達
  4. 4NVIDIA、Vera CPUのエージェント処理性能を公表 x86比で速度・電力効率を比較半導体・GPU
  5. 5智元、清華大学などとCELを発表 96台のロボットで群体学習を検証研究・技術
PR本紙発行元 EmplifAI