日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2609.30249

RAPID: 実演からのロボットエージェントプログラミング

RAPID: Robot Agentic Programming from Demonstrations

シェア:XThreadsFacebookLINEはてブBluesky

人間の一回の視覚的実演から、コード生成エージェントがロボットプログラムを自動生成・検証・改良し、物体中心の関係表現で汎化を実現する手法を提案。

詳しい要約

1. どんなもの？

- 単一の視覚的human demonstrationからrobot programを自動生成・検証・改良する手法 - 名称はRobot Agentic Programming from Demonstrations (RAPID) - coding agentの能力をrobot systemに活用することを狙う - 生成されたprogramはobject-centric relational program representationで表現 - 実機Franka armとsimulationの両方で評価

2. 先行研究と比べてどこがすごい？

- 従来のcoding agentは複雑なprogramming問題で成功しているが、robot systemへの活用は限定的 - RAPIDは単一のvisual human demonstrationからprogramを自動生成する点が新しい - 従来のimitation learningやprogram synthesisとの具体的比較は要旨からは不明 - object-centric relational program representationにより、demonstrationを超えた再利用を可能にする - object pose, shape, material, environmentへのgeneralizationを実現

3. 技術・手法の肝は？

- 反復的なagentic loopによるcode refinementを採用 - 必要な要素は(i) testable task specification、(ii) robot実行用action primitives、(iii) program実行・検証用interactive environment - RAPIDはこれら3つをdemonstrationから自動推論 - action primitivesをtrajectory-optimization programsとして表現し、object-level motion effectsを実現 - relational constraintsでcomposeし、run timeにscene-specific geometryを捕捉 - object-centric relational program representationが中核

4. どうやって有効だと検証した？

- simulationで8つのchallenging contact-rich nonprehensile manipulation tasksを評価 - LIBERO-Pro benchmarkでgeneral prehensile manipulation tasksも評価 - 実機Franka armにdeployし、8つのnonprehensile tasksすべてで評価 - すべての実験でstrong performanceを示し、object pose, shape, material, environmentへのgeneralizationを確認 - 詳細な定量結果は要旨からは不明

5. 議論はある？

- 要旨からは明示的な議論や限界は不明 - 強みとしてgeneralization over object pose, shape, material, environmentが挙げられている - 実機展開の成功が述べられているが、失敗事例や制約の議論は要旨からは不明 - 今後の課題や倫理的影響についての言及は要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない - 関連手法としてcoding agents、imitation learning、program synthesis、trajectory optimization、LIBERO-Pro benchmarkが挙げられる - 同分野の定番としてrobot learning、manipulation、task and motion planning (TAMP) の文献が考えられる - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuyao Liu, Jiayuan Mao, David Hsu, Leslie Pack Kaelbling, Tomás Lozano-Pérez

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Coding agents have demonstrated enormous success in solving complex programming problems. To leverage their potential for robot systems, this work introduces Robot Agentic Programming from Demonstrations (RAPID), which automatically generates, verifies, and refines robot programs, given a single visual human demonstration. The iterative agentic loop of code refinement requires several key ingredients: (i) a testable task specification, (ii) action primitives for robot execution, and (iii) an interactive environment for program execution and verification. RAPID infers all three from the demonstration automatically. To make the resulting program reusable beyond the demonstration setting, RAPID uses an object-centric relational program representation that focuses on the underlying structure of the demonstrated strategy rather than the specific motion per se: it expresses the action primitives as trajectory-optimization programs that realize object-level motion effects, while composing them through relational constraints that capture scene-specific geometry at run time. We evaluated RAPID in simulation on eight challenging contact-rich nonprehensile manipulation tasks as well as general prehensile manipulation tasks in the LIBERO-Pro benchmark. We also successfully deployed it on a real Franka arm and evaluated on all eight nonprehensile tasks. In all experiments, RAPID demonstrated strong performance, with generalization over object pose, shape, material, and environment. Website: https://yuyaoliu.me/projects/rapid.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI