ロボット設計・行動生成2026/10/13arXiv:2610.17881

生成・検証・修正によるエージェント型ロボット創造

Agentic Robot Creation through Generation, Verification, and Revision

AIエージェントが高レベルなユーザ意図からロボットの身体と行動を生成し、実行フィードバックで修正する枠組みを提案。生成設計の機械的失敗を計算指標で評価し、実機ロボットで学習行動を展開した。

詳しい要約

1. どんなもの？

- 高レベルなユーザ意図から機能するロボットを生成し、その振る舞いを教えるAIエージェントの研究。 - embodiment creationとbehavior creationの2側面から検討。 - embodiment creationでは、マルチモーダルモデルが機械的要件をどの程度捉えるかを調査し、製造前に設計を評価する計算指標を導入。 - behavior creationでは、Roboforgeというエージェントフレームワークを提案。タスク仕様を実行可能なポリシーに変換する。 - 運動生成、ポリシー学習、実行に基づく修正を通じて、参照運動を生成し、学習目的を設定し、ポリシーを訓練。 - 運動はループ内に留まり、ロールアウトフィードバックが参照運動や報酬を修正可能。

2. 先行研究と比べてどこがすごい？

- 従来のreward-refinementやone-shot motionベースラインと比較。 - 生成されたembodimentを複数のMLLMで評価し、behavior creationを4つの多様なロボットで評価。 - 計算指標により、生成設計における再発する機械的失敗を明らかに。 - 実行に基づく修正がタスクレベル行動と実行品質を改善することを示す。 - エージェント生成のGorillaを製造し、学習行動を物理ロボットに直接展開。

3. 技術・手法の肝は？

- Roboforge: タスク仕様を実行可能なポリシーに変換するエージェントフレームワーク。 - 運動生成、ポリシー学習、実行に基づく修正を統合。 - 参照運動を生成し、学習目的を設定し、ポリシーを訓練。 - 運動をループ内に保持し、ロールアウトフィードバックで参照運動や報酬を修正。 - embodiment creationでは、マルチモーダルモデルを用いて設計を生成し、計算指標で評価。

4. どうやって有効だと検証した？

- 生成されたembodimentを複数のMLLMで評価。 - behavior creationを4つの多様なロボットで評価。 - reward-refinementおよびone-shot motionベースラインと比較。 - 計算指標が生成設計の機械的失敗を明らかに。 - 実行に基づく修正がタスクレベル行動と実行品質を改善することを実験で示す。 - エージェント生成のGorillaを製造し、物理ロボットに学習行動を展開。

5. 議論はある？

- 計算指標が生成設計における再発する機械的失敗を明らかに。 - 実行に基づく修正がタスクレベル行動と実行品質を改善。 - 物理ロボットへの展開が可能であることを示す。 - その他の議論や限界については要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究: reward-refinementベースライン、one-shot motionベースライン。 - 関連手法: マルチモーダルモデル（MLLM）、ポリシー学習、運動生成。 - 同分野の定番: ロボット設計生成、強化学習によるポリシー学習、模倣学習。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xuebing Li, Yibo He, Sitong Liu, Ran Ji, Jiayuan Gu

分類: cs.RO

原文アブストラクト

Can an AI agent turn high-level user intent into a functioning robot and teach it how to behave? We study this question from two complementary aspects: embodiment and behavior creation. For embodiment creation, we investigate how well current multimodal models capture mechanical requirements, and introduce computational metrics for evaluating generated designs before fabrication. For behavior creation, we present Roboforge, an agentic framework that turns task specifications into executable policies through motion generation, policy learning, and execution-grounded revision. Given a robot embodiment and task, the agent generates a reference motion, configures the learning objective, and trains a policy. Crucially, motion remains in the loop: rollout feedback can revise the reference motion, reward, or both. We evaluate a generated embodiment across multiple MLLMs and behavior creation across four diverse robots against reward-refinement and one-shot motion baselines. Our computational metrics expose recurring mechanical failures in generated designs, while behavior experiments show that execution-grounded refinement improves task-level behavior and execution quality. Finally, we fabricate an agent-generated Gorilla and directly deploy learned behaviors on the physical robot.

arXivで原文を読む →arXiv概要ページ

← 論文一覧