日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.40002

VLAは推論をどこまで信頼すべきか:ステップ単位ガイダンスを測定された行動価値関数として扱う手法

How Much Should a VLA Trust Its Reasoning? Step-Level Guidance as a Measured Action-Value Function

シェア:XThreadsFacebookLINEはてブBluesky

推論型VLAポリシーの推論トレースを各ステップでどれだけ強く反映させるかを、測定ベースの行動価値関数として適応的に決めるQ-adaptive guidanceを提案し、自動運転シミュレータとWaymoベンチマークで固定重みやオンラインRLを上回った。

詳しい要約

1. どんなもの?

- reasoning VLA policy(推論トレースを書いてから action を decode する方針)を対象とする - 誤った trace は誤った action を生み、正しく見える trace でも plan を誤導しうる - 既存の問い「reasoning は正しいか」ではなく「reasoning をどれだけ強く steer すべきか」を問う - CoC-CFG を提案 - policy の context と reasoning span を除いた同一 context の間で classifier-free guidance を行う - Euler step ごとに 1 つの weight で reasoning を減衰/増幅し、w=1 で元の policy に戻る - この weight 選択を MDP として扱い、action value を bootstrapping せず実測する - Q-adaptive guidance として small critics で value を近似し、controller を保守的に改善する

2. 先行研究と比べてどこがすごい?

- 先行の remedie は reasoning の正否を判定する方向だったのに対し、本手法は reasoning の steer 強度を制御する点が異なる - 固定 weight の guidance や online RL(SAC, GRPO)と比較して優位と報告 - Alpasim では open loop で全固定 weight と SAC/GRPO を上回る - closed loop で 300 scene 中 262 通過(元 policy は 252) - Waymo end-to-end driving benchmark の held-out frames で最初の 3 stage が全固定 weight、4 つの adaptive-guidance 手法、SAC、GRPO を上回る - hidden test set で frozen Alpamayo 1.5 + rule-based camera/vehicle conversions + Q-adaptive guidance が公開手法中 SOTA(rater feedback score 8.1…

3. 技術・手法の肝は?

- CoC-CFG - policy の context と reasoning span を除いた同一 context の間で classifier-free guidance を適用 - Euler step ごとに 1 weight を設定し、w=1 で元 policy を回復 - weight 選択を MDP として定式化 - expert を freeze し noise を固定した下で、1 step 分の weight を適用し現 controller で plan を完遂すると、その weight の value が厳密に得られる(measured action value) - Q-adaptive guidance - この measured value を small critics で fit - controller を保守的に改善する形で weight を選択

4. どうやって有効だと検証した?

- Alpasim driving simulator - open loop で全固定 weight と online RL(SAC, GRPO)を上回る - closed loop で 300 scene 中 262 通過(元 policy は 252) - Waymo end-to-end driving benchmark - held-out frames で最初の 3 stage が全固定 weight、4 つの adaptive-guidance 手法、SAC、GRPO を上回る - hidden test set で frozen Alpamayo 1.5 と rule-based camera/vehicle conversions を組み合わせ、公開手法中 SOTA(8.135159 対 8.079)

5. 議論はある?

- 要旨からは不明 - 計算コスト、small critics の学習安定性、measured value の一般化、他タスクへの転移に関する議論は要旨に記載なし - 明示されている範囲では、weight を MDP の action とみなし measured value で評価する設計が保守的改善につながると主張

6. 次に読むべき論文は?

- CoC-CFG(classifier-free guidance を reasoning span に適用する手法) - SAC - GRPO - adaptive-guidance 手法(要旨で比較対象として言及) - Alpamayo 1.5 - Alpasim driving simulator および Waymo end-to-end driving benchmark に関連する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dabin Seo, Eunhyek Joa

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

Reasoning vision-language-action (VLA) policies write a reasoning trace and then decode the action from it. A wrong trace yields a wrong action, and even a correct-looking trace can mislead the plan. Existing remedies ask whether the reasoning is right. We ask how strongly it should steer. CoC-CFG applies classifier-free guidance between the policy's context and the same context without the reasoning span. One weight per Euler step attenuates or amplifies the reasoning, and w=1 recovers the original policy. We treat the choice of this weight as a Markov decision process whose action values are measured, not bootstrapped. With the expert frozen and the noise fixed, applying a weight for one step and finishing the plan under the current controller returns that weight's value exactly. Q-adaptive guidance fits these values with small critics and improves the controller conservatively. In the Alpasim driving simulator it outperforms every fixed weight and online RL (SAC, GRPO) in open loop, and in closed loop it passes 262 of 300 scenes, against 252 for the original policy. On held-out frames of the Waymo end-to-end driving benchmark, its first three stages outperform every fixed weight, four adaptive-guidance methods, SAC and GRPO. On the hidden test set, a frozen Alpamayo 1.5 with rule-based camera and vehicle conversions and Q-adaptive guidance sets a new state of the art among published methods: 8.135159 rater feedback score, against 8.079 for the best published method.

関連論文

PR本紙発行元 EmplifAI