日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.18792

SEAR: 自己進化するエージェント型ロボティクス

SEAR: Self-Evolving Agentic Robotics

シェア:XThreadsFacebookLINEはてブBluesky

言語モデルエージェントがロボット制御コードを書き、テストし、スキルや記憶として蓄積する枠組みとベンチマークを提案し、学習の持続性や新タスクへの転移、実機での性能を評価した。

詳しい要約

1. どんなもの?

- フロンティア言語モデルエージェントがロボットを自律改善する枠組みとベンチマーク - エージェントが制御コードを書き、テストし、成功を skill と memory として次タスクへ保持 - 3モード: code-as-policy、agent-as-policy、auto-research - 7つのフロンティア言語モデル、330の simulated タスクと5つの physical タスク、4年以上の agent runtime で評価

2. 先行研究と比べてどこがすごい?

- 従来のロボット学習評価は、保持された経験と単なる再試行・既知タスク・特権的 simulator state・大きな予算・運を分離しにくい - SEAR はこれらを制御する benchmark を追加し、エージェントが本当に学習しているかを切り分ける - 新タスク、新 simulator、実機への転移まで問う点が先行研究と異なる - 複数モデル・大規模タスク・長期 runtime で比較する点が新しい

3. 技術・手法の肝は?

- エージェントを3モードで動作: 制御コードを書いて policy にする code-as-policy、制御ループ内で直接行動する agent-as-policy、VLA model を fine-tune する researcher としての auto-research - benchmark に、保持経験と反復試行、既知タスク、特権的 simulator state、予算、運を分離する統制を追加 - 学習曲線が全体時間予算とモデル能力に対するタスク難易度の両方に依存すると分析 - 制御コードと共有 routine の転移、タスク固有解の非転移を評価

4. どうやって有効だと検証した?

- 7つのフロンティア言語モデル、330 simulated タスク、5 physical タスク、4年以上の agent runtime で検証 - 難タスクでは長いセッションが有効、易タスクでは短い再試行でも同等という結果 - 制御コードと共有 routine はタスク・simulator 間で転移、タスク固有解は転移しないことを確認 - 実機で agent 設計の練習と新規 human-designed シーンの間に性能ギャップを観測 - モデルごとに有効な進化の仕方が異なり、text-only モデルが同等の multimodal モデルに匹敵することを確認

5. 議論はある?

- エージェントは本当に学習しているのか、単に試行回数を増やしているだけかを切り分ける必要がある - 学習内容が新タスク、新 simulator、実機で有効かを問う必要がある - 難易度と時間予算の関係から、易タスクでは長いセッションの価値が限定的 - 実機では agent 設計の練習と新規 human-designed シーンの間にギャップ - 知覚は error assessment に寄与するが、agentic reasoning と tool use がより重要になり得る

6. 次に読むべき論文は?

- 要旨で参照/比較されている個別研究は明示されていない - 関連手法として code-as-policy、agent-as-policy、auto-research、vision-language-action model (VLA)、sim-to-real transfer を挙げる - 同分野の定番として language-model agents for robotics、robot learning benchmarks、simulator-based evaluation を挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xinyi Wang, Bangzheng Li, Hanyu Wang, Lin Zhang, Andrea Yaoyun Cui, Zhenggang Tang, Shyamal Buch, Dejia Xu

分類: cs.RO, cs.AI, cs.CL

原文アブストラクト

Frontier language-model agents can now improve robots on their own: they write control code, test it, and keep what works as skills and memories for the next task. We introduce SEAR (Self-Evolving Agentic Robotics), a framework and benchmark built around two questions. Is the agent really learning, or just trying more often? And does what it learns still help on new tasks, in a new simulator, and on a real robot? The framework runs an agent in three modes: it writes code that becomes the policy (code-as-policy), acts live in the control loop (agent-as-policy), or works as a researcher that fine-tunes a vision-language-action model (auto-research). The benchmark adds controls that separate retained experience from repeated attempts, familiar tasks, privileged simulator state, larger budgets, and luck. Across seven frontier language models, 330 simulated and five physical tasks, and over four years of agent runtime, we highlight three findings. First, the learning curve of a robotic agent depends both on the overall time budget and the task difficulty relative to model capability. Harder tasks make longer sessions worthwhile; on easier tasks, re-rolling short attempts does just as well. Second, control code and shared routines transfer across tasks and simulators, while task-specific solutions do not. On a real robot, we observe a performance gap between agent-designed practice and novel human-designed scenes. Third, different models evolve more effectively in different ways. Some do best acting live, others writing code first. And a text-only model keeps pace with a comparable multimodal one: perception helps with error assessment, but agentic reasoning and tool use can matter more. We release the benchmark and codebase to support future research.

関連論文

PR本紙発行元 EmplifAI