日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.02459

OpenRUA: ロボット利用エージェントはゼロショット視覚運動ポリシーである

OpenRUA: Robot-Use Agents Are Zero-Shot Visuomotor Policies

シェア:XThreadsFacebookLINEはてブBluesky

コーディングエージェントにロボットのネイティブソフトウェアROS 2への端末アクセスのみを与える最小構成のハーネスを提案し、専用設計なしでゼロショットの視覚運動ポリシーとして機能することを示した。

詳しい要約

1. どんなもの?

- コーディングエージェントをロボット制御に用いる手法 OpenRUA の提案。 - 既存の成熟したソフトウェアスタックではなく、ロボットのネイティブなソフトウェアインタフェース ROS 2 への terminal access のみを coding agent に与える。 - 特別な抽象化層や専用インタフェースを排した zero-abstraction harness。 - workspace-as-harness の最小設計で、ROS 2 のドキュメントと基本ツールのみを提供。 - agentic workflow を組まず、coding agent 自身に作業を組織させる。 - 知覚を file I/O、操作を coding として再定義する。

2. 先行研究と比べてどこがすごい?

- 先行研究はロボット利用のために複雑な custom harness を構築し、専門的なワークフローや専用インタフェースを提供していた。 - 本手法はそうした追加の harness engineering が不要であることを示す。 - 既製の coding agent がロボットのネイティブインタフェースを通じて zero-shot visuomotor policy として機能できることを実証。 - 専用プリミティブやタスク固有の学習を必要としない点が異なる。

3. 技術・手法の肝は?

- OpenRUA は zero-abstraction harness で、coding agent に ROS 2 への terminal access のみを与える。 - minimalist workspace-as-harness 設計を採用。 - 提供物は ROS 2 ドキュメントと基本ツールに限定。 - agentic workflow のオーケストレーションを行わず、agent 自身が作業を組織。 - 知覚は file I/O、操作は coding として扱う。 - Claude Code と Claude Opus 5 を使用。

4. どうやって有効だと検証した?

- CaP-Bench で 99.0%、LIBERO-PRO で 87.0% の成功率を達成。 - 既製の coding agent が zero-shot visuomotor policy として機能することを示した。 - 知覚では 96.80% のエピソードで生の感覚入力から metric measurements を導出するプログラムを自発的に作成。 - 操作では 95.87% のエピソードで motion-control clients(例: gripper control)を自発的に構築。 - 50.13% のエピソードで sensor feedback に基づく closed-loop control programs を構築。

5. 議論はある?

- 追加の harness engineering の必要性を問う点が議論の出発点。 - 最小設計下で coding agent の顕著な創発的行動が観察された。 - 知覚・操作における自発的なプログラム生成や closed-loop control の割合が報告されている。 - その他の議論や限界については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている先行研究は custom harness を構築する既存の robot-use agents 研究。 - 具体的な論文名は要旨からは不明。 - 関連手法として ROS 2、CaP-Bench、LIBERO-PRO、Claude Code、Claude Opus 5 が挙げられる。 - 同分野の定番として visuomotor policy learning や coding agents のロボット応用研究が次に読む候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhaoyang Chu, Earl T. Barr, Claire Le Goues, Peter O'Hearn, Mark Harman, Federica Sarro, He Ye

分類: cs.RO

原文アブストラクト

Coding agents are extending their reach into the physical world by writing and executing robot control programs. One might expect the agents to use the existing mature software stack that engineers have developed over decades to access sensors and control motion. Yet prior work primarily engineers complex custom harnesses to orchestrate agents for robot use, particularly by prescribing specialized workflows and providing bespoke interfaces. This raises the question: "Is such additional harness engineering necessary?" We introduce OpenRUA, a zero-abstraction harness that bypasses bespoke abstraction layers by providing off-the-shelf coding agents with only terminal access to the robot's native software interface ROS 2. OpenRUA employs a minimalist workspace-as-harness design, only offering ROS 2 documentation and basic tools while leaving the coding agent to organize its own work without orchestrating any agentic workflow. Within this workspace, OpenRUA recasts perception as file I/O and manipulation as coding. With Claude Code powered by Claude Opus 5, OpenRUA achieves success rates of 99.0% on CaP-Bench and 87.0% on LIBERO-PRO, demonstrating that an off-the-shelf coding agent can serve as a zero-shot visuomotor policy through the robot's native interface, without bespoke primitives or task-specific training. Under this minimalist design, further analysis reveals striking emergent behaviors of coding agents: (1) For perception, the agent spontaneously writes programs that process raw sensory inputs and derive metric measurements in 96.80% of episodes. (2) For manipulation, the agent spontaneously builds motion-control clients (e.g., gripper control) in 95.87% of episodes and closed-loop control programs (e.g., adjusting motion based on sensor feedback) in 50.13% of episodes. Our code is available at https://github.com/terminalworld/OpenRUA.

関連論文

PR本紙発行元 EmplifAI