VLA2026/9/11arXiv:2609.12641

視覚と行動のショートカットを断ち切る：汎化可能なロボット基盤モデルのための潜在インターフェース訓練

Breaking the Vision-Action Shortcut: Latent Interface Training for Generalizable Robotics Foundation Models

視覚入力と行動の相関を過学習する「視覚-行動ショートカット」を防ぐため、画像なしで目標指向の行動を学習させた後、姿勢監督付きの潜在インターフェースで視覚条件付けを制約する2段階訓練法を提案。

詳しい要約

1. どんなもの？

- ロボット基盤モデル（robot foundation models）の視覚分布シフト下での汎化を改善する手法。 - Latent Interface Training (LIT) というフレームワーク非依存の2段階戦略を提案。 - 視覚-行動ショートカット（vision-action shortcut）を抑制し、タスク関連の空間情報を保持する。 - 4つの vision-language-action / world-action アーキテクチャ（Pi0.5, MolmoAct2, FAST-WAM, ImageWAM）に適用可能。

2. 先行研究と比べてどこがすごい？

- 従来のロボット基盤モデルは in-distribution 性能は高いが、視覚分布シフト下で性能が劣化する問題があった。 - 訓練分布内で行動と相関するタスク無関係な視覚的手がかりを利用する vision-action shortcut が汎化を損なうことを指摘。 - LIT はこのショートカットを抑制しつつ、タスク関連の空間情報を保持する点で先行研究と異なる。 - 具体的な先行研究との比較は要旨からは不明。

3. 技術・手法の肝は？

- 2段階戦略：Stage 1 では画像なしで spatial-goal-conditioned action prior を確立。 - Stage 1 では action expert を language, robot state, 各 demonstrated chunk の terminal SE(3) end-effector pose で条件付け、視覚的手がかりに依存しない goal-directed action generation を学習。 - Stage 2 では latent interface を導入し、視覚・意味表現を集約し、pretrained action expert の唯一の視覚条件付け経路とする。 - この interface は Stage 1 で条件付けに用いた terminal pose を再構成するよう監督され、行動生成に必要な goal-relevant な空間情報を保持するよう促す。

4. どうやって有効だと検証した？

- 4つの vision-language-action / world-action アーキテクチャ（Pi0.5, MolmoAct2, FAST-WAM, ImageWAM）で評価。 - LIBERO-Plus の overall success を 3.87-10.70 percentage points 改善し、平均 LIBERO success を維持または改善。 - 実世界評価では、未見のカメラ構成、照明変化、distractors の下で3タスク集計の success が 13.30-16.70 percentage points 向上。

5. 議論はある？

- 要旨からは不明。 - ただし、vision-action shortcut の抑制と空間情報保持のバランスが重要であることが示唆される。 - 限界や議論の詳細は要旨に記載なし。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究：Pi0.5, MolmoAct2, FAST-WAM, ImageWAM, LIBERO-Plus, LIBERO。 - 関連手法：vision-language-action models, world-action models, robot foundation models。 - 同分野の定番：RT-1, RT-2, Octo, OpenVLA などが考えられるが、要旨では明示されていない。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jianman Lin, Shailesh Shailesh, Zhongyi Luo, Jiafei Duan

分類: cs.RO

原文アブストラクト

Robot foundation models achieve strong in-distribution performance but often degrade under visual distribution shifts. When learning to generate actions from pretrained visual representations, models may exploit task-irrelevant visual cues that correlate with demonstrated actions within the training distribution. Such vision-action shortcuts can undermine generalization when these correlations change under distribution shifts. Mitigating these shortcuts requires constraining how visual information is used for action generation while preserving task-relevant spatial information. We propose Latent Interface Training (LIT), a framework-agnostic two-stage strategy that first establishes a spatial-goal-conditioned action prior without images, then constrains visual conditioning through a pose-supervised latent interface. Stage 1 trains the action expert to generate action chunks conditioned on language, robot state, and each demonstrated chunk's terminal SE(3) end-effector pose, learning goal-directed action generation independently of visual cues. Stage 2 introduces a latent interface that aggregates visual and semantic representations and serves as the pretrained action expert's only visual conditioning pathway. The interface is supervised to reconstruct the terminal pose previously used to condition Stage 1, encouraging it to retain the goal-relevant spatial information needed for action generation. Across four vision-language-action and world-action architectures (Pi0.5, MolmoAct2, FAST-WAM, and ImageWAM), LIT improves overall LIBERO-Plus success by 3.87-10.70 percentage points while preserving or improving average LIBERO success. Real-world evaluations show 13.30-16.70 percentage-point gains in success aggregated across three tasks under unseen camera configurations, lighting variations, and distractors.

arXivで原文を読む →arXiv概要ページ