日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.18562

シミュレーションで推論モデルを訓練し実機ロボットを直接操作させる

Training Reasoning Models in Simulation to Natively Use Real Robots

シェア:XThreadsFacebookLINEはてブBluesky

オープンウェイトの27B推論モデルを、実演なし・シミュレーションのみの強化学習で実機ロボット操作エージェントとして訓練し、未知のロボットや実世界へ転移することを示した論文。

詳しい要約

1. どんなもの?

- 本論文は、open-weight の 27B reasoning model を real robot 上で native に使えるよう、simulation のみで reinforcement learning により訓練する手法を提案する。 - computer-use agent (CUA) と同様に、モデルは環境を観察し chain of thought で推論し、harness なしで次の end-effector pose を生成する。 - Post-training Engine for Agentic Robotics (PEAR) を構築し、robot-use reinforcement learning (RURL) により大規模な simulated robot tasks で訓練する。 - 目的は、frontier proprietary models に匹敵する robot-use agents (RUAs) の能力を open-weight model で実現することにある。

2. 先行研究と比べてどこがすごい?

- 従来、RUAs の強い性能は GPT-6 Astra や Claude Fable 5.2 などの frontier proprietary models に限られ、open-weight models は大きく劣っていた。 - 本手法は demonstrations なし・simulation のみの訓練で、open-weight 27B model が real robot を native に操作できることを示す。 - LIBERO で success rate を 1.6% から 74.4% へ向上させ、maximum reasoning effort の GPT-6 Astra や GPT-6.1 Sol に接近する。 - demonstrations で fine-tune した vision-language-action model である $π_{0.5}$ と比べ、タスク自体の変化に対して大幅に頑健である。

3. 技術・手法の肝は?

- Post-training Engine for Agentic Robotics (PEAR) を構築し、robot-use reinforcement learning (RURL) により simulated robot tasks で大規模に訓練する。 - モデルは CUA のように環境を観察し、chain of thought で推論し、次の end-effector pose を直接生成する。harness を必要としない。 - 訓練は simulation 内で完結し、demonstrations を用いない。LIBERO と RoboDojo の simulated tasks で訓練する。 - 具体的な reward 設計や RL algorithm の詳細は要旨からは不明。

4. どうやって有効だと検証した?

- LIBERO と RoboDojo の simulation で訓練後、real dual-arm robot での試行の 60% で成功し、base model は 0% であった。 - LIBERO では success rate が 1.6% から 74.4% へ上昇し、maximum reasoning effort の GPT-6 Astra と GPT-6.1 Sol に接近した。 - LIBERO-Pro では、familiar scene で新タスクを割り当てた際、$π_{0.5}$ は 0.75% しか成功しないのに対し、本モデルは 57.4% 成功した。 - 9 つの reasoning, coding, vision benchmarks で測定可能な劣化はなく、general capabilities を保持した。

5. 議論はある?

- simulation で獲得した skills が unseen robot、real world、novel instructions へ汎化することが示された。 - robot-use reinforcement learning が foundation-model post-training の有望な要素であると主張している。 - 一方、real dual-arm robot での成功率は 60% であり、残りの失敗要因や限界については要旨からは不明。 - 訓練タスクの規模・多様性や sim-to-real gap の詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- GPT-6 Astra および GPT-6.1 Sol(比較対象の frontier proprietary models) - Claude Fable 5.2(frontier proprietary model として言及) - $π_{0.5}$(demonstrations で fine-tune した vision-language-action model) - LIBERO、LIBERO-Pro、RoboDojo(評価・訓練に用いた simulated benchmarks) - computer-use agent (CUA) 関連の先行研究(類推の基礎として言及)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiaming Tang, Zhuoyang Zhang, Junxian Guo, Fangzhou Zhao, Yilong Zhao, Zekai Li, Xingyang Li, Yuyang Zhao, Song Bian, Zhijian Liu, Song Han

分類: cs.RO, cs.LG

原文アブストラクト

Robot-use agents (RUAs) have emerged as a promising approach to general-purpose robot control. However, strong performance has so far been achieved only by frontier proprietary models such as GPT-6 Astra and Claude Fable 5.2, whereas open-weight models remain substantially less capable. We show that an open-weight 27B reasoning model can be trained to use real robots natively through reinforcement learning, entirely in simulation and without demonstrations. Like a computer-use agent (CUA), the model observes the environment, reasons in a chain of thought, and generates the next end-effector pose, without any harness. We build a Post-training Engine for Agentic Robotics (PEAR) and use it to train the model on simulated robot tasks at scale with robot-use reinforcement learning (RURL), mirroring how frontier models acquire computer use. We find that the skills acquired in simulation generalize well beyond the training tasks: they transfer to an unseen robot, to the real world, and to novel instructions. After training on LIBERO and RoboDojo in simulation, the model succeeds in 60% of our trials on a real dual-arm robot, whereas the base model succeeds in none. On LIBERO, training raises the success rate from 1.6% to 74.4%, approaching GPT-6 Astra and GPT-6.1 Sol at maximum reasoning effort. Compared with $π_{0.5}$, a vision-language-action model fine-tuned on demonstrations, our model is substantially more robust to changes in the task itself. On LIBERO-Pro, $π_{0.5}$ succeeds in only 0.75% of episodes when assigned a new task in a familiar scene whereas our model succeeds in 57.4%. Finally, the model retains its general capabilities, with no measurable degradation on nine reasoning, coding and vision benchmarks. These results highlight robot-use reinforcement learning as a promising component of foundation-model post-training.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI