日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2609.26467

RouteRLT: VLAポリシーを制御すべきRL専門家をいつ・どれにするか学習する

RouteRLT: Learning When and Which RL Specialist Should Control a Vision-Language-Action Policy

シェア:XThreadsFacebookLINEはてブBluesky

汎用VLAモデルと精密作業に特化したRL専門家を切り替えるルーティング手法を提案し、接続器挿入やケーブル操作などの実タスクで有効性を示した。

詳しい要約

1. どんなもの？

- Vision-language-action (VLA) モデルの汎用操作能力を保ちつつ、contact-rich な産業タスクの精度要求段階で RL specialist をいつ・どれに切り替えるかを学習する routing framework「RouteRLT」を提案。 - 対象は connector insertion や cable management など precision-critical な段階を含むタスク。 - 構成要素は phase selector、stabilizer、action-boundary manager。

2. 先行研究と比べてどこがすごい？

- 従来は pretrained VLA を RL で fine-tune するのが一般的だが、generalist 挙動の保持と specialist の選択・切替判断が未解決だった。 - RouteRLT は「いつ」「どの」RL specialist に制御を渡すかを学習し、deployment 時に privileged phase boundaries にアクセスせずとも同等の routing を実現。 - base VLA を上回り、失敗実行からの recovery も含め generalist VLA 挙動を保持。

3. 技術・手法の肝は？

- phase selector が active controller を識別。 - stabilizer が transient switches を抑制。 - action-boundary manager が chunked policy outputs 間の遷移を処理。 - RL specialist は単一の precision-critical phase 用に訓練された RL policy。

4. どうやって有効だと検証した？

- LIBERO の multi-object pick-and-place タスクで simulation 評価。 - 実世界の cable pickup と port-insertion タスク（複数の precision-critical stages を含む）で評価。 - simulation では learned routing が base VLA を改善し、privileged phase boundaries を用いた routing に匹敵。 - 実機では operator-aligned handoff protocol の下、pickup と insertion の specialist への自動 routing を検証。

5. 議論はある？

- 要旨からは不明（限界や失敗事例、計算コスト、一般化可能性に関する議論は明記されていない）。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として Vision-Language-Action (VLA) モデル、Reinforcement Learning (RL) による fine-tuning、LIBERO ベンチマーク、behavior cloning が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chongyu Zhu, Jaden Hinds, Hyegang Kim, Juan Sebastian Rojas, Ramy Elmallah, Chi-Guhn Lee

分類: cs.RO

原文アブストラクト

Vision-language-action (VLA) models provide broad manipulation competence, but often struggle during the precision-critical stages that dominate contact-rich industrial tasks such as connector insertion and cable management. A common remedy is to refine a pretrained VLA with reinforcement learning (RL), enabling task-specific improvement beyond behavior cloning. However, how to preserve its generalist behavior while deciding when RL refinement is needed and which specialized policy should act remains an open question. In this work, we present RouteRLT, a routing framework that learns when and which RL specialist, an RL policy trained for a single precision-critical phase, should take control from a generalist VLA. A phase selector identifies the active controller, a stabilizer suppresses transient switches, and an action-boundary manager handles transitions between chunked policy outputs. We evaluate RouteRLT on multi-object pick-and-place tasks in LIBERO, as well as on a real-world cable pickup and port-insertion task with multiple precision-critical stages. In simulation, the learned routing improves over the base VLA and matches routing with privileged phase boundaries, without accessing those boundaries at deployment. The real-robot evaluation validates automatic routing to both the pickup and insertion specialists under an operator-aligned handoff protocol. Altogether, these results show that learned routing applies RL specialist control where precise adaptation is most valuable while preserving generalist VLA behavior, including recovery from failed execution attempts.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI