日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
ロボットエージェント/オンライン探索arXiv:2610.22496

ロボットエージェントのためのオンライン探索スケーリング

Scaling Online Exploration for Robot Agents

シェア:XThreadsFacebookLINEはてブBluesky

汎用コーディングエージェントがロボット制御コードを生成し、オンライン探索でタスク達成の行動系列を発見・プログラム化するフレームワークRAXを提案。単腕・双腕・多指・移動・ヒューマノイドで実機・シミュレーション検証し、探索規模拡大に伴う汎化性能向上を示した。

詳しい要約

1. どんなもの?

- ロボット学習の新フレームワーク「RAX (Robot Agent eXploration)」 - オンライン探索のスケーリングを中心に据えたオープンソースのrobot agent基盤 - 汎用coding agentがロボット制御コードを生成し、実行可能なプログラムとして合成 - 対象は単腕・双腕・dexterous・mobile・humanoidの複数embodiment - simulationと実機の両方で精度タスク・long-horizon manipulationを扱う - 新embodimentはAPI経由のみで統合可能と主張 - teleoperationデータ収集やpolicy trainingを不要とする枠組み

2. 先行研究と比べてどこがすごい?

- 従来はdemonstration datasetとmodel capacityのスケーリングが主流 - 新embodiment/タスクごとに専用teleoperation corpusが必要 - 結果としてpolicyがimitation分布に縛られ汎化・継続的自己改善が制限 - RAXはaction demonstration data・hand-engineered action primitives・value-function guidanceを不要とする - オンライン探索経験とプログラム合成で改善する点が差異 - simulationでtop baseline modelsを平均+37.4%上回ると報告 - 実機でもhuman demonstrationなしに多様なタスクを自律学習

3. 技術・手法の肝は?

- 汎用coding agentがロボット制御コードを生成 - action demonstration data、hand-engineered action primitives、value-function guidanceに依存しない - オンライン探索でタスク目標を達成するdecision sequenceを発見 - それをperception-planning-control loop全体を包むmodular programへcompile - 探索のスケーリングを中心設計とし、複数embodimentへ展開 - 過去探索セッションで検証済みのskillを組み合わせ継続的に改善

4. どうやって有効だと検証した?

- 単腕・双腕・dexterous・mobile・humanoidを用いたsystematic multi-embodiment study - simulationと実機の両方でprecisionおよびlong-horizon manipulationタスクを評価 - 未見環境でのgeneralization性能が探索スケールとともに一貫して向上 - simulationではtop baseline modelsを平均+37.4%上回る - 実機ではhuman demonstrationなしにmemory依存・articulated・高精度・deformable・long-horizon mobile manipulationを自律学習 - 先行探索のverified skill合成により性能が継続改善

5. 議論はある?

- 探索スケールに伴いemergent capabilitiesを観測 - active perception、error recovery、safety guardrails、human-robot collaboration - 新embodimentをAPIのみで統合でき、teleoperationデータ収集やpolicy trainingが不要という主張 - ただし具体的な統合コストや限界の詳細は要旨からは不明 - 探索スケーリングの計算コストや実機での安全性評価の詳細は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されているtop baseline modelsの具体名は要旨からは不明 - 関連手法としてimitation learning、teleoperationベースのdemonstration収集、value-function guidanceを用いる強化学習 - 基盤要素としてcoding agent、program synthesis、modular skill composition - 同分野の定番としてbehavior cloningやrobot foundation model系の研究を次に参照すべき

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Runhan Huang, Xiangcheng Zhang, Haoyu Chen, Yitong Li, Yen-Jen Wang, Bohan Lyu, Haotian Ye, Chuye Hong, Yixuan Wang, Chloe Su, Haoyu Xiong, Yangzhen Wu, Enze Xie, Travis Manderson, Stefano Ermon, Pieter Abbeel, Antonio Torralba, Dawn Song, Weirui Ye, Yilun Du

分類: cs.RO

原文アブストラクト

Robot learning has advanced by scaling demonstration datasets and model capacity; however, deploying a new robot embodiment or task typically necessitates a dedicated teleoperation corpus. The resulting policies remain bounded by their imitation distributions, limiting generalization and continual self-improvement. We introduce RAX (Robot Agent eXploration), an open-source framework for robot agents centered on scaling exploration: enabling agents to improve by acquiring online experience and synthesizing executable programs. In RAX, a general-purpose coding agent generates robot control code, operating without action demonstration data, hand-engineered action primitives, or value-function guidance. Through online exploration, the agent identifies decision sequences that achieve task goals and compiles them into modular programs encapsulating the full perception-planning-control loop. Using RAX, we present a systematic multi-embodiment study on scaling online exploration across precision and long-horizon manipulation tasks using single-arm, bimanual, dexterous, mobile, and humanoid systems in simulation and on real robots. Generalization performance on unseen environments improves consistently as exploration scales. In simulation, RAX outperforms top baseline models by +37.4% on average. On real robots, RAX autonomously learns memory-dependent, articulated, high-precision, deformable, and long-horizon mobile manipulation tasks without human demonstrations, continually improving performance by composing verified skills from prior exploration sessions. As exploration scales, we observe emergent capabilities including active perception, error recovery, safety guardrails, and human-robot collaboration. We open-source RAX as a generalist robot-agent platform in which new robot embodiments are integrated through their APIs alone, without teleoperated data collection or policy training.

PR本紙発行元 EmplifAI