NEO-VLA、視覚エンコーダーを介さないVLA構成を提案

何が起きたか

arXiv掲載論文「From Pixels to Actions - Towards Native Vision-Language-Action Policies」は2026年11月4日、構造上、視覚エンコーダーを使わない視覚・言語・行動（VLA）モデル「NEO-VLA」を提案した。画像を軽量なパッチ畳み込み層でトークン化し、バックボーン内で言語とともに処理する。論文は、制御比較でNEO-VLAがエンコーダー型を上回り、追加のモデル規模だけでは性能差を回復できなかったと報告している。

詳細

NEO-VLAでは、フローマッチング方式の行動エキスパートが、指示に条件づけられた複数の深さの視覚表現を利用する。論文の層ごとの分析では、行動に重要な信号が最終視覚表現より前の層でピークに達する場合があったという。 論文は、フルファインチューニングによってエンコーダー型との差は縮小するものの消えず、操作タスクや分布シフトを含む評価でNEO-VLAの制御がより強く、頑健だったとしている。

Key Facts

本紙の見方

今回の提案の要点は、VLAの視覚処理を単に大きくするのではなく、行動判断が参照できる視覚表現の位置を固定しない設計にある。従来型の前提として論文が挙げるのは、視覚エンコーダーで画像を圧縮した後に行動推論を始める構成だ。NEO-VLAはその固定された受け渡し点を外し、画像トークンを言語とともにバックボーン内で処理し、行動エキスパートが複数の深さの表現を使えるようにする。層ごとの分析で重要信号が最終表現より前にピークとなる場合があったという結果は、深い層ほど操作に有用な情報が増すとは限らない、という設計上の論点を示す。 論文の比較結果は、視覚表現の構造が制御性能に関係しうることを示す一方、モデル規模の拡大だけではエンコーダー型との差を埋められなかったとしている。フルファインチューニングで差が縮まるという結果も合わせると、事前学習済みの視覚表現を後段に渡す方式と、視覚・言語表現を行動向けに同時に扱う方式は、学習条件をそろえて評価する必要がある。ここで比較されているのはアーキテクチャと制御結果であり、個々のロボットや実運用での優位性まで示したものではない。 業界への含意は、VLAの改善をパラメーター数や最終層の表現だけで評価できるとは限らない点にある。分布シフトを含む操作条件で頑健性を評価するという論文の報告は、学習時と異なる視覚状態に対する制御も比較対象に置く必要性を示唆する。また、視覚表現をどの層から行動側へ渡すかが設計変数になれば、エンコーダーの選定だけでなく、バックボーン全体と行動エキスパートの接続も比較の対象となる。 ただし、掲載された要旨には比較に使った具体的なベンチマーク名、性能差の数値、モデル規模、計算量、実行時遅延、学習データの詳細は示されていない。したがって、報告された優位性の大きさや、計算資源・実機制御への適用条件は要旨だけでは判断できない。次に確認すべきなのは、各評価条件での定量結果と再現性、分布シフトの設定、そして複数層の視覚表現を使う構成が実時間の操作でも成立するかである。

なぜ重要か

論文の比較結果は、視覚エンコーダーの出力を固定して行動側に渡す方式では、操作に重要な情報が最終表現に残るとは限らないことを示唆する。VLAの設計・評価では、モデル規模だけでなく、行動エキスパートがどの深さの視覚表現を利用できるかと、分布シフト下の制御結果を確認する必要がある。