日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.35010

JevVLA：Jevに着想を得たエネルギー基盤型VLAポリシー適応

JevVLA: Jev-Inspired Energy-Based Adaptation for Vision-Language-Action Policies

シェア:XThreadsFacebookLINEはてブBluesky

凍結したVLAポリシーの上に約8万パラメータのエネルギー関数を学習し、離散候補選択と連続行動補正を同一の意思決定コアで改善する軽量適応手法を提案。

詳しい要約

1. どんなもの？

- Vision-Language-Action (VLA) ポリシーの適応フレームワーク JevVLA を提案 - Jev の構造的・確率的な意思決定インターフェースに着想を得た energy-based adaptation - 離散候補選択(pick-and-place)と連続 action chunk 生成(motion control)の両方を単一の仕組みで改善 - base policy は凍結したまま、約 80,000 の trainable parameters を持つ軽量な energy model を学習 - 実装は https://github.com/ZJU4EmbodiedAI/JevVLA で公開予定

2. 先行研究と比べてどこがすごい？

- 従来は離散候補選択と連続制御を別々の仕組みで扱いがちだが、JevVLA は単一の learned action preference function で両方を扱う - pretrained policy を凍結し、軽量な energy model のみを適応させるため既存能力を保持しやすい - 同一 core network(約 80,000 parameters)を、ベンチマークごとに独立に学習した重みと固定の入出力エンコーディングで共用 - 具体的な先行研究との比較数値は要旨からは不明

3. 技術・手法の肝は？

- base policy を凍結し、observations・task context・actions を条件とする微分可能なスカラー energy を学習 - 学習信号は execution feedback、expert corrections、demonstration-derived preferences - 学習した action preference function を二用途で使用 - energy 値で離散候補を比較・選択 - action gradients で連続 action を補正、または生成を誘導 - 候補選択と連続制御が一つの trainable decision core を共有 - 各ベンチマークで独立に学習した重みと固定の入出力エンコーディングを使用

4. どうやって有効だと検証した？

- held-out test sets 上で、それぞれ対応する base-policy controls と比較 - タスク成功率の改善幅(percentage points) - MetaWorld MT50: +1.28 - VIMA: +2.31 - LanguageTable: +1.60 - LIBERO Plus: +1.52 - CLIPort: +1.28 - 離散 action selection と連続 action guidance の両方の適応可能性を支持する結果

5. 議論はある？

- 軽量な Jev-inspired energy model が離散選択と連続誘導の両方の適応に有効である可能性を支持 - 改善幅は 1.28〜2.31 percentage points と比較的小さく、その解釈や限界は要旨からは不明 - 各ベンチマークで独立に学習した重みを使用しており、汎用単一モデルでの性能は要旨からは不明 - 計算コストや推論速度、失敗事例などの詳細は要旨からは不明

6. 次に読むべき論文は？

- Jev(着想元の structured, probabilistic decision interface) - Vision-Language-Action (VLA) policies の代表的手法 - MetaWorld MT50、VIMA、LanguageTable、LIBERO Plus、CLIPort 各ベンチマークの base policy 研究 - energy-based model を用いたポリシー適応・action selection の関連研究(要旨に個別の参照は無し)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wei Wang, Wenqiao Zhang, Zheqi Lv, Zheng Dong, Yingjie Niu, Jiaqi Zhu, Jun Xiao, Chao Li, Yueting Zhuang

分類: cs.RO

原文アブストラクト

Vision-language-action (VLA) policies can select among discrete candidates for pick-and-place manipulation or generate continuous action chunks for motion control. Improving both forms of decision making through a common mechanism while retaining the capabilities of a pretrained policy is an important adaptation problem. Inspired by Jev's structured, probabilistic decision interface, we propose JevVLA, a lightweight energy-based adaptation framework for VLA policies. JevVLA instantiates this inspiration by modeling the relative quality of action proposals: with the base policy frozen, it learns a differentiable scalar energy conditioned on observations, task context, and actions, using execution feedback, expert corrections, or demonstration-derived preferences. JevVLA uses this single learned action preference function in two ways: its values compare discrete candidates, while its action gradients correct continuous actions or guide their generation. Candidate selection and continuous control thus share one trainable decision core. Each benchmark uses independently trained weights and fixed input/output encodings, while retaining the same core network with approximately 80,000 trainable parameters. On the held-out test sets, JevVLA improves task success over the respective matched base-policy controls by 1.28, 2.31, 1.60, 1.52, and 1.28 percentage points on MetaWorld MT50, VIMA, LanguageTable, LIBERO Plus, and CLIPort, respectively. These results support the feasibility of a lightweight, Jev-inspired energy model for adapting both discrete action selection and continuous action guidance. The JevVLA implementation will be open-sourced at https://github.com/ZJU4EmbodiedAI/JevVLA.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI