arXiv論文「Vision-Predictor-Action」が公開　LIBERO-10で40.0%の成功率

何が起きたか

arXivは2026年10月11日、Vision-Predictor-Action: Towards Efficient Embodied AI via Neuro-Symbolic JEPA Predictors と題する論文を公開した。論文は、Vision-Language-Action（VLA）モデルがLarge Language Model（LLM）デコーダーで行動をトークン単位に生成するため、推論遅延が行動列の長さに応じて増えると指摘し、これを軽量な潜在制御ループに置き換えるVPAを提案している。著者らは、単一GPUで3時間未満の学習でLIBERO-10のデモンストレーションのみを使って訓練し、2カメラ方針で200エピソード中40.0%の成功率を得たとしている。

詳細

VPAは、共有された視覚エンコーダーと固定されたテキストエンコーダーで観測、目標画像、指示を埋め込み、神経記号的なセレクターが離散スキルを選ぶ構成だと説明されている。さらに、Joint-Embedding Predictive Architecture（JEPA）予測器が次の潜在状態を予測し、flow-matching solverが数回の積分ステップで1つの行動チャンクを生成するため、意思決定ステップあたりの順方向ネットワーク評価回数は行動ホライズンに依存しないとしている。 著者らは、学習可能なモデルの規模を2,000万パラメータ未満、チェックポイントを凍結した63.4MパラメータのCLIPテキストエンコーダーを除いて75 MB未満と記している。単一カメラの参照構成では、Apple M4上で1意思決定ステップが10〜14 msだったとしている。論文はまた、表現崩壊への正則化や、潜在的なサブゴールしきい値がタスク段階をまたぐ誤差蓄積を抑える条件についても分析している。

Key Facts

本紙の見方

VPAの新規性は、VLAが採りがちな逐次デコードを前提とせず、潜在状態の予測と行動チャンク生成を組み合わせて意思決定を閉ループ化した点にある。ここで重要なのは、単にモデルを小さくしたことではなく、行動ホライズンに依存して逐次ネットワーク評価回数が増える構造そのものを変えようとしている点である。一方で、論文が示したのはLIBERO-10上の初期検証であり、実運用の幅広いロボット課題に一般化したとまでは言えない。 本紙の見方では、この論文は、視覚・言語・行動を一体化する流れの中でも、推論遅延と制御頻度という実装上の制約に正面から触れた点に意味がある。共有視覚エンコーダー、固定テキストエンコーダー、JEPA予測器、flow-matching solverという構成は、認識から潜在予測、行動生成までを段階的につなぐ設計であり、単なる大規模言語モデルの応用とは異なる。加えて、20Mパラメータ未満、75 MB未満、Apple M4で10〜14 msという数値は、研究上の概念実証としてだけでなく、低遅延実装を意識した設計であることを示す。 本紙の過去報道はないため比較はしないが、今回の論文で注目すべきは、性能指標よりも制御の分解の仕方である。2カメラで40.0%という結果は、VPAの枠組みが少なくとも一部の設定で動作することを示す一方、学習データがLIBERO-10のデモンストレーションに限られている以上、データ依存性はなお大きいとみられる。次に確認すべき論点は、より長い行動ホライズンでの安定性、単一GPU・3時間未満という訓練条件の再現性、そしてCLIPテキストエンコーダーを含めた全体システムとしての実装コストである。

なぜ重要か

ロボット制御では、行動列が長くなるほど推論遅延が増える設計は、閉ループ制御の頻度を下げる制約になりやすい。著者らが示したVPAは、その制約を潜在制御ループで緩和しようとする点に特徴がある。LIBERO-10での40.0%という初期結果は、少なくとも低遅延化を狙う研究の具体例として、学習・推論の設計条件を考える材料になる。