VLA2026/8/5arXiv:2608.04396

CofactVLA: 反事実的介入による視覚・言語・行動モデルの交絡除去

CofactVLA: Deconfounding Vision-Language-Action Models via Counterfactual Intervention

視覚・言語・行動モデルが言語指示を無視して視覚的な交絡因子に過適合する問題を、反事実的介入を用いて軽減する新しい因果介入フレームワークを提案した。

詳しい要約

1. どんなもの？

CofactVLAは、Vision-Language-Action (VLA)モデルにおけるvision-override現象（視覚情報が言語指示を無視して行動を支配する現象）を緩和するための因果介入フレームワークを提案する。行動生成プロセスをDual-path Deconfounding Graph (DDG)として形式化し、言語マスクされた反事実ブランチを単一のforward pass内で動的に構築することで、視覚的交絡因子を分離・中和する。具体的には、Action-Level Orthogonal Projection Guidance (OPG)とFeature-Level Counterfactual Covariance Reduction (CCR)の2つのメカニズムを用いる。

2. 先行研究と比べてどこがすごい？

従来のVLAモデルは、高密度な視覚ストリームと疎な言語指示の間のモダリティ不均衡により、言語を主たる因果ドライバーとして扱わず、顕著な物体や馴染みのあるレイアウトなどの視覚的ショートカットに過適合する因果混乱に陥る。CofactVLAは、この問題を因果的観点から明示的に扱い、反事実介入を用いて視覚的交絡因子を系統的に除去する点が新しい。

3. 技術・手法の肝は？

手法の核心は、単一のforward pass内で言語マスクされた反事実ブランチを構築し、2つの相乗的メカニズムを適用すること。OPGは、連続フロー整合中に事実の速度場を反事実の視覚バイアスから幾何学的に投影し、純粋な意味的意図を抽出する。CCRは、共分散差の正の固有空間をペナルティすることで潜在表現を数学的に非交絡化し、視覚的ショートカットを抑制しつつ因果的な言語意図を保持する。

4. どうやって有効だと検証した？

多様なシミュレーションベンチマークで新たなSOTAを達成。さらに、実世界のロボット実験では、分布外シナリオにおいて52.3%の絶対成功率向上を示し、一般化ギャップを埋める因果的有効性を実証した。

5. 議論はある？

要旨からは、提案手法の限界や潜在的な欠点についての議論は不明。ただし、因果介入の枠組みが複雑な実環境でのスケーラビリティや、言語指示が曖昧な場合の影響などが今後の課題となる可能性が考えられるが、要旨には明記されていない。

6. 次に読むべき論文は？

要旨で参照されている関連研究は明示されていないが、VLAモデルの因果混乱やモダリティ不均衡に関する研究、および反事実介入を用いた因果推論の手法が関連する。具体的には、Vision-Language-Actionモデルの基盤となるRT-2やPaLM-E、また因果介入を用いたロボット学習の研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yan Zhang, Yinan Wu, Haoran Duan, Jungong Han

分類: cs.CV

原文アブストラクト

Vision-Language-Action (VLA) models have driven significant progress in robotic manipulation, yet they fundamentally struggle with the vision-override phenomenon. Driven by the severe modality imbalance between dense visual streams and sparse linguistic instructions, VLAs frequently fall prey to causal confusion. Instead of treating language as the primary causal driver, the policy entirely bypasses the original instruction by overfitting to spurious visual confounders, such as prominent objects or familiar layouts. To systematically alleviate this bias, we formalize the process of action generation as a Dual-path Deconfounding Graph (DDG) and propose CofactVLA, a novel causal intervention framework. By dynamically constructing a language-masked counterfactual branch within a single forward pass, CofactVLA isolates and neutralizes visual confounders through two synergistic mechanisms. First, Action-Level Orthogonal Projection Guidance (OPG) geometrically projects the factual velocity field away from the counterfactual visual bias during continuous flow matching, extracting the pure semantic intent. Second, Feature-Level Counterfactual Covariance Reduction (CCR) mathematically deconfounds latent representations by penalizing the positive eigenspace of the covariance difference, explicitly suppressing dominant visual shortcuts while preserving the causal language intent. Extensive experiments demonstrate that CofactVLA establishes a new state-of-the-art across diverse simulation benchmarks. Beyond simulation, real-world robot experiments demonstrate the causal efficacy of our method in bridging the generalization gap, yielding a 52.3\% absolute success rate gain under out-of-distribution scenarios.

arXivで原文を読む →arXiv概要ページ