日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.23517

RageVLA: 拡張学習による知覚と行動の分離でLIBERO上の頑健性を達成

RageVLA: Augmentation-Trained Perception and Action for State-of-the-Art Robustness on LIBERO

シェア:XThreadsFacebookLINEはてブBluesky

データ拡張と知覚エンジンで「何をするか」と「どこにあるか」を分離し、小型VLAモデルでLIBERO-PROの最先端性能を実現した研究。

詳しい要約

1. どんなもの?

- LIBERO 上では飽和して見える VLA モデルが、LIBERO-PRO では物体移動や新規指示で崩れる問題に対し、scale ではなく decoupling が欠けていると主張する研究 - データ側とポリシー側の両方で『何をするか』と『訓練時の物体位置・周辺シーン・指示の言い回し』の結び付きを断ち切る - Robust Augmentation と Grounded Encoding を組み合わせた RageVLA を提案 - 0.21B パラメータで LIBERO-PRO の SOTA を達成

2. 先行研究と比べてどこがすごい?

- 既存 VLA は LIBERO で飽和しているが LIBERO-PRO では物体移動や新規指示で崩れる - 提案は scale ではなく decoupling を導入し、データ拡張と知覚の分離表現で頑健性を高める - LIBERO-PRO で 0.72 を記録し、公開済み最良モデルの 0.53 を上回る - より大きな variant では 0.73 に到達

3. 技術・手法の肝は?

- データ: LIBERO のデモを一般規則で再配置。全物体・fixture の移動と回転、他環境・他 surface へのタスク移行、全指示の paraphrase - 知覚: 凍結 DINOv3 特徴上の perception engine を拡張データで訓練し、物体リストと位置、gripper が見ている対象の compact code を出力 - ポリシー: 画像・指示埋め込み(TinyCLIP)と上記の分離表現を入力に、from scratch の flow-matching diffusion transformer が行動 - 知覚と行動を分離した grounded encoding が肝

4. どうやって有効だと検証した?

- LIBERO-PRO で 0.72(最良公開モデル 0.53)、大 variant で 0.73 の SOTA - LIBERO-Object で知覚に基づく行動を検証: 物体位置を shuffle し画像は正しいままにすると成功率 0.965→0.215 に低下 - 対象物体を 28 cm 変位させても 0.865 成功、同一 harness の π_{0.5} は 0.105 - 与えられた位置情報に依存して行動していることを示す

5. 議論はある?

- 主張は scale ではなく decoupling が重要という点 - 知覚入力を shuffle すると性能が大きく落ちることから、知覚表現への依存が強い - 28 cm 変位への頑健性は示されるが、他の分布シフトや実機での検証は要旨からは不明 - より大きな variant でも 0.73 と限界的向上

6. 次に読むべき論文は?

- LIBERO-PRO(ベンチマーク) - π_{0.5}(比較対象の VLA ポリシー) - DINOv3(凍結視覚特徴) - TinyCLIP(画像・指示埋め込み) - flow-matching diffusion transformer 関連手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Amrit Lal Singh, Smarak Kanjilal

分類: cs.RO, cs.CV

原文アブストラクト

Vision-language-action (VLA) models look saturated on LIBERO, yet most of them fall apart on LIBERO-PRO as soon as an object moves or the instruction asks for something new. We argue that what is missing is not scale but decoupling. In these policies, what to do is tied to where things were during training, to the scene around them and to the wording of the instruction. We cut these ties in two places. In the data, LIBERO demonstrations are re-arranged by general rules: every object and fixture is moved and rotated, tasks are carried into other environments and onto other surfaces, and every instruction is paraphrased. In the policy, a perception engine on frozen DINOv3 features, trained on this augmented data, hands the action model the scene in decoupled form: a list of objects with their positions, and a compact code of what the gripper is looking at, next to image and instruction embeddings from TinyCLIP. A flow-matching diffusion transformer, trained from scratch, acts on this view. We call this combination of Robust Augmentation and Grounded Encoding RageVLA. With 0.21 billion parameters, RageVLA sets a new state of the art on LIBERO-PRO among VLA policies, scoring 0.72 against 0.53 for the best published model, and a larger variant reaches 0.73. Two further tests on LIBERO-Object show that the policy acts on what it perceives. When the object positions it is given are shuffled while the camera images stay correct, its success falls from 0.965 to 0.215. When the target object is displaced by 28 cm, it still succeeds in 0.865 of the episodes, where $π_{0.5}$, run through the same harness, succeeds in 0.105.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI