日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.28589

コーディングエージェントの事後学習をロボットプランナに応用するフレームワーク

AgenticRoboRL: Bringing Coding-Agent Post-Training to Agentic Robotics

シェア:XThreadsFacebookLINEはてブBluesky

ロボットプランナを対象に、教師あり微調整とマルチターン強化学習を組み合わせた事後学習フレームワークAgenticRoboRLを提案し、9Bモデルの成功率を18.1%から71.0%へ向上させた。

詳しい要約

1. どんなもの？

- Agentic robotics システムの planner を post-training で改善する枠組み AgenticRoboRL の提案 - planner と robot harness を組み合わせて複雑な manipulation を行う設定を対象 - 異なる実行機構（VLA skill invocation と control-code generation）に対応 - supervised fine-tuning と multi-turn reinforcement learning を組み合わせた training recipe - framework と trained planner checkpoints を公開予定

2. 先行研究と比べてどこがすごい？

- 先行研究は harness や external memory の改善に依存し、強力な closed-source model を planner として前提 - planner 自身の能力改善を行わない点が課題だった - coding agents では model 自体の post-training が有効だったことに着想 - AgenticRoboRL は planner 自体を post-training で強化する点が新しい - external memory なしで Codex (GPT-5.5) の external memory 併用時の性能に迫る

3. 技術・手法の肝は？

- supervised fine-tuning と multi-turn reinforcement learning を組み合わせた training recipe - harness ごとの adapter を用意し、記録された planner の interaction と task outcome を接続 - 共通の RL training pipeline を実現しつつ execution components は固定 - VLA skill invocation と control-code generation という異なる実行機構に対応 - これにより harness をまたいだ planner の post-training を可能にする

4. どうやって有効だと検証した？

- LIBERO-PRO 上で評価 - 9B-parameter planner の success rate が 18.1% から 71.0% へ向上 - external memory なしでこの結果を達成 - external memory を用いた Codex (GPT-5.5) の 72.1% に接近 - post-training が robot planner 改善に有効であることを示す

5. 議論はある？

- external memory なしで closed-source model の external memory 併用性能に迫る点を強調 - ただし Codex (GPT-5.5) の 72.1% にはわずかに及ばず - 異なる harness への適用には harness-specific adapter が必要 - execution components を固定する設計上の制約がある - 詳細な議論や限界は要旨からは不明

6. 次に読むべき論文は？

- Codex (GPT-5.5)（比較対象の closed-source planner） - VLA skill invocation に関する研究 - control-code generation に関する研究 - coding agents の post-training に関する研究 - multi-turn reinforcement learning の関連手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xinxin Liu, Bingxin Xu, Wenrui Bao, Ming Li, Wentao Bao, Chen Chen, Yuzhang Shang

分類: cs.RO

原文アブストラクト

Agentic robotics systems combine planners with robot harnesses to perform complex manipulation tasks. Recent work improves these systems through better harnesses and external memory, but relies on powerful closed-source models as planners and does not improve the planners' own capabilities. In contrast, coding agents have improved substantially by post-training the model itself. We therefore investigate whether post-training can also improve robot planners. However, applying it across robot harnesses requires accommodating different execution mechanisms, including VLA skill invocation and control-code generation. To this end, we introduce AgenticRoboRL, a framework for post-training robot planners across different harnesses. The training recipe combines supervised fine-tuning with multi-turn reinforcement learning. To accommodate different execution mechanisms, harness-specific adapters connect recorded planner interactions with task outcomes, enabling a common RL training pipeline while keeping execution components fixed. On LIBERO-PRO, AgenticRoboRL raises the success rate of a 9B-parameter planner from 18.1% to 71.0% without external memory, approaching the 72.1% achieved by Codex (GPT-5.5) with external memory. These results demonstrate post-training as an effective approach for improving robot planners. We will release the framework and trained planner checkpoints.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI