CaPtain、開放型4B VLMをロボット操作エージェントに訓練

何が起きたか

arXiv掲載論文「CaPtain: A Pipeline for Post-Training Code-as-Policy Robot Agents」は、2026年10月29日、開放型の小規模視覚言語モデル（VLM）をコードによるロボット操作エージェントに訓練するパイプラインを提示した。基盤モデルのQwen3.5-4Bは、LIBEROの未見タスクで教師あり微調整（SFT）後に55.4%、多ターン強化学習（RL）後に73.8%の成功率を記録したと報告した。

詳細

CaPtain-Harness内で方策を訓練・実行し、低水準の知覚、幾何処理、ガード付き動作のプリミティブをシミュレーションと実機で利用する。まずGPT-6 Astraが生成した合成軌跡でSFTを行い、その後、多ターンRLを適用する。物理クリティックは方策には見せないシミュレーターの特権状態を参照し、各リクエストが成功確率の予測をどれだけ変えたかに基づいて評価を割り当てる。 論文によると、CaPtain-4BはLIBERO-PROで78.5%を達成し、複数のフロンティアモデルエージェントを上回った。RLによる改善は3つの摂動テスト群で17.6～21.2ポイント持続し、対象領域での追加訓練なしにSimplerEnv WidowXで83.3%を記録した。CaP-Benchでも複数のフロンティアモデルを上回り、シミュレーションのみで適応した後に実機ロボット上で動作したとしている。コード、データ、モデル重みを公開する。

Key Facts

本紙の見方

今回の中心はロボットの新機体や専用VLAではなく、開放型の小規模VLMをCode-as-Policy（CaP）エージェントとして後段訓練する手順にある。論文が記す既存のCaPエージェントは、フロンティアモデルへのプロンプトや、事前学習済みVLA・高水準スキルへの委任を用いていた。これに対しCaPtainは、Qwen3.5-4BをSFTから多ターンRLへ進め、テスト時にはVLA、フロンティアモデル、特権状態に依存しない構成を掲げる。したがって新しさは、一般的なSFT後のRLという訓練順序そのものより、ロボットAPIを操作する小型オープンモデルにその手順を適用し、遅れて現れる物理的結果を学習に結び付ける仕組みにあるとみられる。 性能値の差も、段階ごとに読む必要がある。Qwen3.5-4BはゼロショットでLIBERO成功率0%だったが、SFT後55.4%、RL後73.8%となった。これは論文内の評価で訓練段階の寄与を示す一方、実環境で同じ改善幅が得られることを示す数値ではない。LIBERO-PROの78.5%やSimplerEnv WidowXの83.3%は別の評価環境であり、論文は前者で複数のフロンティアモデルエージェントを上回り、後者では対象領域の訓練なしと説明している。ベンチマーク間の数値を単純に一列の性能順位として扱うべきではない。 構造面では、方策が低水準の知覚・幾何処理・ガード付き動作を呼び出す一方、学習時の物理クリティックは方策に見せないシミュレーター状態を読む。この分離により、実行時の方策が利用できる情報を抑えながら、学習時には各リクエストの寄与を評価する設計になっている。ロボット操作をAPI呼び出しの列として学習させる点と、シミュレーション上の特権情報を学習側に限定する点が、単に言語モデルへ操作手順を指示する方式との違いである。ただし、ガード付き動作の存在だけから安全性が実機で検証されたとは判断できない。 今後確認すべきなのは、実機での成功率、使用したロボットやタスクの範囲、シミュレーション適応の具体的条件、実行時の計算資源と応答時間である。抄録は実機で動作したことを記すが、そこでの定量結果やハードウェアの詳細は示していない。また、3つの摂動テスト群での改善がどの条件に対応するか、公開されたデータとモデル重みで同じ結果を再現できるかも、ベンチマーク値を運用可能性へ結び付けるうえで検証点となる。CaPtainの意義は、シミュレーション評価の高さだけでなく、この訓練・実行の分離が異なる実機条件でも維持されるかで測られる。

なぜ重要か

Qwen3.5-4BはLIBEROでゼロショット成功率0%からRL後73.8%に達したと報告されており、小規模な開放型VLMをロボット操作に使う際、モデル単体の初期性能だけでなく後段訓練の設計が評価対象となる。実機動作も報告されているが、抄録には実機での成功率がないため、ベンチマーク成績と実運用上の能力は分けて見る必要がある。