日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2611.04166

同じ言葉、異なる行動:推論型VLAにおけるテキストと行動の乖離を診断・制御する

Say the Same, Act Differently: Diagnosing and Steering Text-Action Divergence in Reasoning VLAs

シェア:XThreadsFacebookLINEはてブBluesky

推論型VLAモデルにおいて、生成される言語的根拠を一語も変えずに視覚摂動で物理行動だけを変えられることを示し、その乖離方向を診断・誘導する手法TNASを提案した研究。

詳しい要約

1. どんなもの?

- Reasoning VLA(vision-language-action)モデルにおける text-action divergence を診断・制御する研究 - 生成 rationale(テキスト)を単語単位で完全に保ったまま、視覚摂動によって物理 action だけを変えられることを示す - 対象は driving の Alpamayo と manipulation の InstructVLA の text/action 共有インターフェース - 提案する TNAS(text-neutral action-subspace)診断で、action に敏感な方向と text-loss 勾配の直交性を解析 - 含意として、rationale が同一でも安全な action を保証できないと主張

2. 先行研究と比べてどこがすごい?

- 従来の VLA reasoning への攻撃は rationale 自体を破壊し、テキストに痕跡が残る - 本研究は rationale を word-for-word で同一に保ちつつ action のみを変える点が新しい - 局所的に最も action に敏感な方向が text-loss 勾配とほぼ直交(norm overlap 1.87% / 5.28%)であることを示す - 同一 hidden-state 摂動ノルムで、TNAS 方向は text 勾配摂動より action を 4.64x〜47.8x 大きく変化させる - 逆に text 勾配摂動は text drift を 21.2x〜277x 大きくする

3. 技術・手法の肝は?

- Alpamayo と InstructVLA の共有 text/action インターフェース上で TNAS 診断を構築 - action 感受性が高い局所方向と active text-loss 勾配の重なりを測定 - text-neutral residual 方向に沿った介入で hidden-state 摂動を比較 - 視覚摂動をこの方向に沿わせることで画像からの decoupling を誘導 - full-image 摂動と localized forward-camera patch の両設定を検討 - text-preserving baseline と比較し rationale 保持率と teacher-forced text drift を評価

4. どうやって有効だと検証した?

- Alpamayo の obstacle-annotated driving scene 154 件で評価 - TNAS-guided attack は full-image 摂動で 52.6%、forward-camera patch で 35.1% の scene に新たな collision を誘発 - unguided action attack の 4.55% と比較 - text-preserving baseline 比で exact rationale preservation を 83.0% から 89.5% へ向上、teacher-forced text drift を 68.4% 削減(collision rate は同等) - InstructVLA では text drift を 40.5% 削減、85.0% の例で exact response を保持しつつ action-chunk を 1.73-unit シフト

5. 議論はある?

- 変化しない rationale は安全な action を証明できないと結論 - reasoning VLA の monitor は predicted action channel を直接検証すべきと提言 - 視覚摂動がテキストに痕跡を残さず action を変え得るため、テキスト監視のみでは embodied safety の担保が不十分 - 具体的な緩和策や検出器の設計、他モデルへの一般化は要旨からは不明

6. 次に読むべき論文は?

- Alpamayo(driving VLA) - InstructVLA(manipulation VLA) - reasoning VLA の rationale 監視・攻撃に関する先行研究(要旨では個別名の明示なし) - VLA の action channel 監視・安全モニタリングに関する研究(要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zihao Feng, Qingzhao Zhang, Chunyu Xia, Bo Yu, Z. Morley Mao, Ramesh Govindan

分類: cs.LG, cs.CR, cs.CV, cs.RO

原文アブストラクト

Reasoning vision-language-action (VLA) models pair physical control with natural-language rationales that supervisors can read to monitor embodied safety. Prior attacks on VLA reasoning corrupt the rationale itself and leave visible evidence in the text. We show that visual perturbations can instead alter the physical action while keeping the generated rationale word-for-word identical. At the shared text/action interface of Alpamayo for driving and InstructVLA for manipulation, our text-neutral action-subspace (TNAS) diagnostic shows that the locally most action-sensitive direction is nearly orthogonal to the active text-loss gradients, with 1.87% and 5.28% norm overlap. At equal hidden-state perturbation norms across both models, interventions along this text-neutral residual shift actions 4.64x to 47.8x more than text-gradient perturbations, whereas text-gradient perturbations induce 21.2x to 277x more text drift. Steering visual perturbations along this direction reaches the same decoupling from the image. Across 154 obstacle-annotated driving scenes in Alpamayo, TNAS-guided attacks induce a new collision under a word-for-word identical rationale in 52.6% of scenes under full-image perturbations and 35.1% under a localized forward-camera patch, compared with 4.55% for unguided action attacks. Relative to a text-preserving baseline, TNAS guidance raises exact rationale preservation from 83.0% to 89.5% and cuts teacher-forced text drift by 68.4% at a comparable collision rate. In InstructVLA, TNAS guidance cuts text drift by 40.5% and preserves the exact response on 85.0% of examples alongside a 1.73-unit action-chunk shift. An unchanged rationale therefore cannot certify a safe action, so monitors for reasoning VLAs must verify the predicted action channel directly.

関連論文

PR本紙発行元 EmplifAI