VLAの学習でVLMへの勾配伝播を検証、条件により経路予測誤差や走行進捗が改善

何が起きたか

arXiv掲載論文「Should the Action Expert Train the VLM? Action-Token Supervision and Gradient Routing in Mixture-of-Transformer VLAs」は2026年11月3日、VLAの学習でアクション専門家の損失をVLMへ伝えるかどうかと、アクション・トークンの教師信号を与えるかどうかを分けて評価した。オープンループ運転では、アクション・トークンを使わない場合、勾配をVLMへ伝える設定で軌道予測誤差が約25%減った。クローズドループ運転では、勾配伝播によりルート進捗がアクション・トークンありで約17%、なしで約40%向上し、ロボット操作でも両条件で性能改善を報告した。

詳細

対象は、事前学習済みの視覚言語モデル（VLM）と、VLMのキー・バリュー表現を条件として行動を予測するフローマッチング専門家を組み合わせたVLAである。論文は、専門家の損失からVLMへ勾配を戻す「結合」と、勾配を遮断する「分離」、およびVLMに目標行動を表す離散アクション・トークンを予測させる教師信号の有無を独立に変え、自動運転とロボット操作で比較した。 オープンループ運転では、アクション・トークンを教師信号に使う場合、分離は結合と同等の競争力を示した。一方、トークンを使わない場合は結合で軌道予測誤差が約25%減少した。両要素を学習開始時から共同で訓練したクローズドループ運転では、結合によるルート進捗の改善はトークンありで約17%、なしで約40%だった。ロボット操作でも、トークンの有無にかかわらず結合が性能を高めたと論文は報告している。

Key Facts

本紙の見方

この論文の焦点は、VLAの性能を「VLMを更新するか」という単独の選択で説明せず、アクション・トークンによる教師信号との組み合わせ、さらに評価がオープンループかクローズドループかで分解した点にある。従来の学習レシピには、専門家からVLMへの勾配を遮断し、VLMの既存能力を守る設計があると論文は述べる。一方、アクション・トークンも同時に学習させるなら、勾配遮断が追加でどれほど能力保護に寄与するかは明確でない、という問題設定だ。 結果は「勾配を通す方が常に優れる」とは示していない。オープンループ運転では、トークン教師ありなら分離も結合と競争力を保ち、トークンなしでは結合が軌道予測誤差を約25%下げた。これに対し、両要素を初めから共同訓練したクローズドループ運転では、結合によるルート進捗の改善がトークンなしの方で約40%、ありで約17%となった。指標や学習条件が異なるため、これらの比率を同一尺度で比較するのではなく、勾配経路の効果が教師信号と評価設定に依存するという論文の結論に沿って読む必要がある。 構造面では、VLMが行動専門家へ渡す表現を、言語・視覚データだけでなく行動予測にどう結び付けるかが設計課題になる。アクション・トークンは行動に関係する表現を学ばせる別経路となり得る一方、専門家からの勾配は連続的な行動予測が必要とする特徴をVLMへ直接伝える。したがって、学習系を組む側には、VLMの能力維持と制御に必要な表現獲得を、どの信号経路で両立させるかという選択が残る。これはモデル構成だけでなく、教師データと損失を組み合わせる学習工程の問題でもある。 ただし、提示された論文要旨には、評価に用いた個別データセット、モデル構成の詳細、試行数や統計的不確実性、ロボット操作の改善幅は記されていない。数値を実運用上の優位性へ直結させるには、これらの条件や、異なるタスク・モデルでも同じ傾向が再現するかを確認する必要がある。また、論文の結論は勾配遮断を一律の標準にしないよう促すものだが、どの条件で遮断を選ぶべきかを決める一般則までは示していない。

なぜ重要か

論文の結果は、VLMの既存能力を保つための勾配遮断が、アクション・トークンの教師信号や評価条件によっては必ずしも有利でないことを示す。VLAの開発者にとって、トークン教師ありのオープンループ評価だけで学習方式を選ぶと、クローズドループ制御での勾配伝播の効果を見落とす可能性があり、評価条件を分けて学習経路を選ぶ必要がある。