日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.22395

CoBoVLA: 離散コードで言語と行動を分離する堅牢で解釈可能なロボット操作

CoBoVLA: Decoupling Language from Action with Discrete Codes for Robust and Interpretable Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

言語理解・計画・制御を学習した離散コードで分離する250MパラメータのVLAを提案し、言い換えへの堅牢性と失敗の追跡可能性を実現した。

詳しい要約

1. どんなもの?

- 250M parameter の Vision-Language-Action (VLA) モデル CoBoVLA (CodeBookVLA) - 言語理解・planning・control を learned discrete interpretable codes で分離する設計 - text encoder が指示を shared step codes に変換し、visual planner が action code sequences を生成、language-independent actor が実行 - 目的は instruction paraphrasing への robustness 向上と failure の段階別診断 - resource-constrained hardware での real-time control も狙う

2. 先行研究と比べてどこがすごい?

- 既存 VLA (0.6B–7.5B) は LIBERO-Para で 22–52 point 低下、SmolVLA は 83% から 8% へ大幅低下 - 多くの VLA は language understanding と action generation を joint learning するため、失敗原因の切り分けが困難 - CoBoVLA は 250M parameter と小型ながら LIBERO-Goal で 91.4%(SmolVLA は 82.8%、matched protocol) - LIBERO-Para で 81.1%(4,092 unseen paraphrases)、matched episodes で 78.5%(paraphrase で LoRA fine-tune した SmolVLA は 36.5%)

3. 技術・手法の肝は?

- language understanding・planning・control を learned discrete interpretable codes で decouple - text encoder が instruction を shared step codes に写像 - visual planner が step codes を action code sequences に変換 - language-independent actor が action codes を実行 - instruction は一度だけ encode し、compact な discrete representation で各 component を軽量化 - これにより paraphrasing robustness と段階別 failure tracing、低 latency 制御を狙う

4. どうやって有効だと検証した?

- LIBERO-Goal で 91.4% success(SmolVLA 82.8%、matched protocol)、control step latency 17 ms - LIBERO-Para で 4,092 unseen paraphrases に対し 81.1%、matched episodes で 78.5% - two-step demonstrations なしで 160 free-form two-step tasks の 48.8% を完了 - instruction が正しく encode された場合は 91%、そうでない場合は 27.2% となり、language understanding が残存 failure の主因と特定

5. 議論はある?

- 残存 failure の主因は language understanding であり、encode 成功時 91% / 失敗時 27.2% という結果で示唆 - decoupling により failure を個別 stage に trace できる点を主張 - ただし two-step demonstrations なしの free-form two-step tasks は 48.8% にとどまる - 詳細な議論や限界の網羅的検討は要旨からは不明

6. 次に読むべき論文は?

- SmolVLA(比較対象の VLA baseline) - LIBERO / LIBERO-Para / LIBERO-Goal(評価 benchmark) - LoRA fine-tuning(paraphrase 適応の比較手法) - 関連する一般的な VLA 研究(OpenVLA など同分野の定番)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mehul Arora, Dhruv Agarwal, Ambuj Agrawal

分類: cs.CV, cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models achieve high success rates on the LIBERO benchmark but remain sensitive to paraphrasing. Existing VLAs ranging from 0.6B to 7.5B parameters experience a 22-52 point performance drop on LIBERO-Para while SmolVLA exhibits an even larger decline, from 83\% to 8\%. Because most VLAs jointly learn language understanding and action generation, it is difficult to determine whether a failure originates from misunderstanding an instruction or executing it incorrectly. To address these challenges, we introduce CoBoVLA, or CodeBookVLA, a 250M-parameter VLA that decouples language understanding, planning, and control through learned discrete interpretable codes. A text encoder maps the instructions to shared step codes, which a visual planner then converts into action code sequences executed by a language-independent actor. This design improves robustness to instruction paraphrasing while allowing failures to be traced to individual stages. It also enables efficient real-time control on resource-constrained hardware by encoding instructions only once and using compact discrete representations to keep each component lightweight. CoBoVLA achieves 91.4\% success on LIBERO-Goal, compared with 82.8\% for SmolVLA, under a matched protocol, with 17 ms per control step latency. On LIBERO-Para, it achieves 81.1\% across 4,092 unseen paraphrases and 78.5\% on matched episodes, compared with 36.5\% for SmolVLA LoRA fine-tuned on paraphrases. Without two-step demonstrations, CoBoVLA completes 48.8\% of 160 free-form two-step tasks. Finally, success reaches 91\% when instructions are correctly encoded but falls to 27.2\% otherwise, identifying language understanding as the main source of remaining failures. Together, these results demonstrate that decoupling language understanding and control can improve instruction robustness while making VLA failures easier to diagnose.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5NTT、ロボットの行動前に荷崩れを予測研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI