日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ロボット設計/エージェントarXiv:2611.23855

RoboBuilder:実世界の映像フィードバックを組み込んだエージェントによるロボット協調設計

RoboBuilder: Agentic Robot Co-Design with Real-world Video Feedback in the Loop

シェア:XThreadsFacebookLINEはてブBluesky

コーディングエージェントが部品からロボットのハードウェアとプログラムを設計し、シミュレーション通過後に実機で検証するベンチマークを提案。実走映像を見せるとエージェントが再設計し失敗の72%を解消できることを示した。

詳しい要約

1. どんなもの?

- コーディング agent が実世界で動くロボットを設計できるかを測る benchmark「RoboBuilder」 - 標準部品・motor・custom 3D-printed part から hardware と program を co-design - simulation で合格した設計を実際に組み立て physical course で試験 - 4 つの frontier coding agents、3 難易度の 10 障害物で評価 - 16,427 simulations、12,774 distinct robots、135 physical robots を約 240 時間で構築

2. 先行研究と比べてどこがすごい?

- 従来の設計 benchmark は simulation 内で完結しがちだが、RoboBuilder は合格設計を実機で必ず検証 - 公開 part data 下では初期合格設計 15 件すべてが実コースを渡れず、sim-to-real gap を明示 - agent が測定を要求し実走 video から simulator を学習する loop を組み込む点が新しい - 単一障害物でなく全障害物連続走破や実世界性能も評価軸に含む

3. 技術・手法の肝は?

- coding agent が標準部品・motor・custom 3D-printed part を組み合わせ hardware と program を co-design - simulation で pass した設計のみ実機で build・test する pipeline - agent は自ら測定を要求し、実走 video から simulator を学習・修正 - 実失敗の video を見せて再設計させる feedback-in-the-loop を導入

4. どうやって有効だと検証した?

- 4 frontier coding agents を 3 難易度 10 障害物で評価 - 16,427 simulations、12,774 distinct robots、135 physical robots を約 240 時間で構築 - 結果: easy 障害物はほぼ解決、hard や全障害物連続走破は苦戦 - 実世界では全レベルで simulated pass の 66% が成立 - 実失敗 video 提示で level-1/2 の失敗を 72% 除去

5. 議論はある?

- simulation だけでは不十分で sim-to-real gap が大きい(初期合格 15 件すべて実走失敗) - agent は search baseline が届かない mechanism を発明する一方、hard 難易度・連続走破・実世界で弱い - video feedback による再設計と simulator 修正が有効だが限界も残る - 実機 build に約 240 時間を要し、評価コストやスケール性が議論点(要旨からは不明な詳細も)

6. 次に読むべき論文は?

- 要旨で参照/比較されている search baselines の詳細論文(具体名は要旨からは不明) - sim-to-real 転移や simulator learning に関する研究(domain randomization 等の一般手法) - coding agent による hardware/program co-design の関連研究 - 実世界 video feedback を用いた agent 改善の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ghadi Nehme, Dahyun Nam, Akshay Govind Srinivasan, Faez Ahmed

分類: cs.AI, cs.CV, cs.RO

原文アブストラクト

Can AI agents design robots that work in the real world? We introduce RoboBuilder, a benchmark in which coding agents co-design a robot's hardware and program from standard parts, motors and a custom 3D-printed part, and every design that passes in simulation is built and tested on a physical course. Simulation alone is not enough: under public part data, none of 15 initial passing designs crossed the real course, so an agent learns the simulator from measurements it requests and videos of real runs. Across four frontier coding agents, ten obstacles at three difficulty levels, 16,427 simulations of 12,774 distinct robots and 135 physical robots built in an estimated 240 hours, agents solve nearly all easy obstacles and invent mechanisms our search baselines do not reach, but falter at harder levels, when one robot must cross every obstacle, and in the real world, where 66% of simulated passes hold across all levels. Closing the loop helps: shown a video of its real failure, an agent redesigns the robot, sometimes correcting its simulator, and removes 72% of level-1 and level-2 failures. RoboBuilder measures progress toward agents that engineer real machines. Project Page: https://ghadinehme.com/robobuilder.github.io/

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI