日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2611.00522

低パラメータ領域における視覚言語行動モデルの振る舞い誘導

Behavioral Steering of Vision-Language-Action Models in the Low-Parameter Regime

シェア:XThreadsFacebookLINEはてブBluesky

凍結したVLAモデルに8〜384個の学習可能パラメータを持つTinyLoRAを適用し、強化学習や進化探索で物体の運搬高さなどの実行スタイルを誘導できることを示した。

詳しい要約

1. どんなもの?

- 本研究は、pretrained vision-language-action models (VLAs) の **behavioral steering** を扱う。 - 対象は「物をより高く運ぶ」といった実行スタイルの好みへの適応。 - OpenVLA-OFT 7B policy を凍結し、TinyLoRA adapters を最適化する。 - trainable parameters は 8〜384 と極めて低次元。 - 最適化には policy-gradient RL (GRPO) または evolutionary search (CMA-ES) を用いる。 - 低パラメータ領域で pretrained capability をどこまで保持できるかを調べる研究。

2. 先行研究と比べてどこがすごい?

- RL による pretrained VLAs の適応は広く使われているが、本研究は **behavioral steering** という観点に着目。 - 先行研究と比べて、極端に少ない trainable capacity(8〜384 parameters)で VLA の挙動を操れることを示す点が特徴。 - 256 trainable parameters で carry height を 120 mm 向上(trained tasks、92% success)。 - held-out task でも 74 mm 向上(80% success)。 - 学習済み更新の rescaling により、再学習なしで style gains と capability retention の trade-off を調整できる点も示す。 - adapter capacity を増やすと一般に trade-off が改善し、同等の style gains で pretrained capability をより保持できる。 - optimizer 選択が capacity に依存することも…

3. 技術・手法の肝は?

- 基盤モデルとして OpenVLA-OFT 7B policy を凍結。 - TinyLoRA adapters を導入し、8〜384 の trainable parameters のみを最適化。 - 最適化手法は 2 種類。 - policy-gradient RL: GRPO。 - evolutionary search: CMA-ES。 - 学習された更新を rescaling することで、style gains と capability retention のバランスを調整。 - adapter capacity、optimizer choice、update scaling が adaptation と retention の実用的な制御手段になることを検討。

4. どうやって有効だと検証した?

- trained tasks で carry height を 120 mm 向上させ、92% success を達成。 - held-out task で carry height を 74 mm 向上させ、80% success を達成。 - 256 trainable parameters という設定で上記を確認。 - rescaling により、再学習なしで style gains と capability retention の trade-off を調整できることを示す。 - adapter capacity の増加が trade-off を改善することを確認。 - optimizer の比較(CMA-ES と GRPO)を capacity ごとに行い、capacity 依存の傾向を確認。

5. 議論はある?

- 極めて低次元の更新でも pretrained VLA の behavior を steer できることを示唆。 - adapter capacity、optimizer choice、update scaling が adaptation と retention を実用的に制御する手段になり得る。 - capacity が増えると一般に trade-off が改善するが、optimizer の優劣は capacity に依存。 - 低パラメータでは CMA-ES が競合的。 - capacity 増加に伴い GRPO が better trade-offs を提供。 - 限界や具体的な議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている研究は明示されていない。 - 関連手法として以下が挙げられる。 - OpenVLA-OFT(基盤 VLA policy) - TinyLoRA(低パラメータ adapter) - GRPO(policy-gradient RL) - CMA-ES(evolutionary search) - 同分野の定番として、pretrained VLAs の RL fine-tuning や parameter-efficient adaptation に関する研究を次に読む候補として検討できる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: James Tcheng, Feiyu Gavin Zhu

分類: cs.RO, cs.LG

原文アブストラクト

Reinforcement learning (RL) is increasingly used to adapt pretrained vision-language-action models (VLAs). We investigate the problem of behavioral steering: adapting a VLA's execution style to preferences such as carrying objects higher. To investigate how little trainable capacity such steering requires and how much pretrained capability can be retained, we freeze an OpenVLA-OFT 7B policy and optimize TinyLoRA adapters with 8 to 384 trainable parameters using either policy-gradient RL (GRPO) or evolutionary search (CMA-ES). With just 256 trainable parameters, we raise carry height by 120 mm on trained tasks at 92% success and by 74 mm on a held-out task at 80% success. By rescaling the learned update, we can tune the trade-off between style gains and capability retention without retraining. Increasing adapter capacity generally improves this trade-off, retaining more pretrained capability at comparable style gains. The choice of optimizer also depends on capacity, with CMA-ES being competitive at low parameter counts, while GRPO offers better trade-offs as capacity grows. These findings show that extremely low-dimensional updates can steer pretrained VLA behavior, with adapter capacity, optimizer choice, and update scaling offering practical control over adaptation and retention.

関連論文

PR本紙発行元 EmplifAI