arxiv.org、eRLTを公開　凍結したVLAを強化学習で適応

何が起きたか

arxiv.orgは2026年10月1日、論文「eRLT: Efficient VLA Reinforcement Learning via Action-Relevant Token Routing」を掲載した。論文は、凍結したVision-Language-Action（VLA）モデルをオンライン強化学習で下流タスクに適応させる際、状態表現の作り方がサンプル効率を左右すると位置づけた。提案手法eRLTは、タスク特有の行動関連情報をトークンと層の両方を通じて集約し、固定次元のRLトークンに変換する。

詳細

eRLTでは、学習されたルーティングトークンが複数の深さから視覚・言語特徴を動的に集約し、軽量なレイヤールーターがそれらをまとめて固定次元のRLトークンにする。ルーティングモジュールは、専門家デモンストレーションで初期化して専門家行動に予測的な特徴を取り込み、その後はオンライン相互作用からのcriticフィードバックで行動価値推定向けに更新する。 評価では、LIBEROとRoboTwinの7タスクで平均正規化learning-curve AUCが代表的ベースライン比で最大23.7%改善した。実機実験ではUSBコネクタ挿入とマザーボードのリボンケーブル挿入で、それぞれ最強ベースライン比108.9%、46.7%のAUC改善を示した。

Key Facts

本紙の見方

eRLTの新しさは、VLAをそのまま使うか、外部の視覚エンコーダーで状態を作り直すかという二択ではなく、凍結したVLAの内部表現から「行動に効く情報」だけを抜き出してRL用の状態表現へ再配線する点にある。ここで主役はモデル規模の拡大ではなく、トークンと層のどこから情報を拾い、どのように固定次元へ圧縮するかという設計である。論文が示す23.7%というAUC改善は、同じVLAを使っていても、表現の切り出し方で学習効率が変わることを示す材料といえる。 本紙の関連記事はないため、ここでは公開された論文本文だけを見ると、既存研究への応答は明確である。論文は、VLA独立の視覚エンコーダーで表現を作る方法と、VLA内部表現を固定圧縮する方法のどちらも、下流の行動修正と価値推定に有用なタスク特有情報を十分に抽出できないと問題設定している。eRLTはその隙間を埋める設計で、専門家デモンストレーションによる初期化と、オンライン相互作用からのcriticフィードバックを組み合わせる。つまり、事前学習済みVLAの「知識」を保ったまま、強化学習で「実行しやすい表現」に寄せる構造である。 業界構造への含意は、ロボット学習のボトルネックが必ずしも行動生成器そのものではなく、状態表現の抽出と価値推定の接続部にあることを示した点にある。LIBEROやRoboTwinのようなシミュレーション系タスクだけでなく、USBコネクタ挿入やリボンケーブル挿入の実機課題でも改善が出ているため、単純なベンチマーク最適化にとどまらず、接続・挿入系の精密作業で表現学習の設計が効く可能性がある。一方で、論文が示したのは7タスクと2つの実機課題での結果であり、異なるロボット本体、より長い作業系列、失敗復帰を含む工程でも同じ効果が続くかは未確定である。ルーティングトークンの計算コスト、学習に必要なデモ量、critic更新の安定性も、実運用を考えるうえで次に確認すべき論点だ。

なぜ重要か

凍結したVLAを活かしたままオンライン強化学習に適応させる設計は、既存の事前学習資産を再利用しながら下流タスクの学習効率を上げる道筋を示す。論文は、LIBERO、RoboTwin、USBコネクタ挿入、マザーボードのリボンケーブル挿入でAUC改善を示しており、精密な組立・接続系作業で表現設計が性能に直結する可能性がある。

日本への影響

日本のロボット関連では、精密挿入や組立のような作業で、学習済みVLAをどう再利用するかが論点になり得る。とくにUSBコネクタ挿入やリボンケーブル挿入のような接続系タスクで改善が示されたことは、接続部品や精密組立に強い産業との相性を考える材料になる。