日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2608.02497v1

接地された意味的再結合による視覚言語行動モデルの指示一般化の堅牢化

Grounded Semantic Re-Binding for Robust Instruction Generalization in Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルが言い換え指示で性能低下する原因を、アーキテクチャ上の問題として特定し、タスク意味と視覚特徴を明示的に融合する介入(GSR)を提案して、パラフレーズ不変性を大幅に改善した。

詳しい要約

1. どんなもの?

本論文は、Vision-Language-Action (VLA) モデルが指示文の言い換えに対して脆弱である問題を扱い、その根本原因がアーキテクチャにあることを示し、新たな介入手法であるGrounded Semantic Re-binding (GSR) を提案する。GSRは、タスク意味を独立に抽出し、ネイティブな視覚特徴と融合して、再初期化したアクション専門家をゼロから訓練することで、言い換え不変性を回復する。さらに、この知見に基づき、ネイティブに分離された0.33BパラメータのモデルParaVLAを導入する。

2. 先行研究と比べてどこがすごい?

従来のVLAモデルは、指示文の言い換えに対する頑健性を向上させるために、大規模なデータ拡張やデータスケーリングに依存していた。しかし、本論文は、プロービングにより、モデルがタスクの正しい意味を内部的に保持していることを発見し、失敗の原因が動的視覚観察とテキストの共同エンコーディングによる特徴シフトにあると特定した。この構造的ボトルネックを直接解決する点が、データスケーリングに頼らない点で優れている。

3. 技術・手法の肝は?

GSRは、不安定な共同ルーティングをバイパスし、独立に抽出したタスク意味とネイティブな視覚特徴を明示的に融合して、完全に再初期化したアクション専門家をゼロから訓練する。これにより、正準指示文のみを使用して言い換え不変性を劇的に回復する。具体的な実装詳細は要旨からは不明だが、構造的介入が核心である。

4. どうやって有効だと検証した?

LIBERO-Paraベンチマークで評価し、GSRは成功率を最大44.6%向上させた。また、軽量モデルが大規模にスケーリングされたベースラインに匹敵し、最先端モデルを新しい記録であるPRIDEスコア70.4に押し上げ、最近導入された大規模事前学習モデルXiaomi-Robotics-0を指示生成能力で上回った。さらに、ParaVLAは指示の言い換えに対してほぼ完全な頑健性を示した。

5. 議論はある?

要旨からは、議論の余地や限界についての詳細は不明である。ただし、提案手法がデータスケーリングの非効率性を回避できることを示唆しており、構造設計の重要性を強調している。また、GSRが正準指示文のみで言い換え不変性を回復できることから、データ収集コストの削減につながる可能性がある。

6. 次に読むべき論文は?

要旨で参照されている研究として、Xiaomi-Robotics-0が挙げられる。また、関連手法として、VLAモデルや指示追従のための大規模事前学習モデル、およびLIBEROベンチマークに関する研究が考えられる。具体的な論文タイトルは要旨からは不明だが、同分野の定番として、Vision-Language-Actionモデルやロボット操作における指示追従に関する研究を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhaokai Yin, Zhipeng Zhang

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models excel in robotic manipulation but suffer catastrophic performance drops when canonical instructions are simply paraphrased. Although this brittleness is typically addressed through costly data scaling, our probing reveals that the root cause is architectural rather than a lack of semantic understanding. Specifically, we demonstrate that current VLAs successfully retain the correct task identity internally. The failure actually stems from the joint encoding of dynamic visual observations and text, which introduces systematic feature shifts. Because the downstream action policy is highly vulnerable to these variations, it fails to translate the preserved semantics into correct control commands. To resolve this structural bottleneck, we propose Grounded Semantic Re-binding (GSR), an elegant intervention that bypasses unstable joint routing by explicitly fusing independently extracted task semantics with native visual features to train a completely re-initialized action expert from scratch. This targeted intervention dramatically restores paraphrastic invariance using only canonical demonstrations. On the LIBERO-Para benchmark, GSR improves success rates by up to 44.6 percent. It enables lightweight models to rival massively scaled baselines and pushes state-of-the-art models to a new record PRIDE score of 70.4, outperforming the recently introduced large-scale pretrained model Xiaomi-Robotics-0 in instruction generation capabilities. Building on these insights, we also introduce ParaVLA, a natively decoupled 0.33B-parameter model exhibiting near-perfect robustness to instruction rewording. Ultimately, our work proves that robust semantic grounding can be achieved through elegant structural design, bypassing the inefficient brute-force data scaling paradigm.