経験時代における実世界コード・アズ・ポリシー：ACE-CaP-0

- 実世界のロボット操作タスクを対象に、coding agent が経験を通じて物理スキルを獲得し、実行可能なプログラムとして保持する Code as Policies (CaP) の手法研究。 - 実行時に frontier models を繰り返し呼ぶとタスク完了時間が増大する問題に対し、開発時の推論を再利用可能なコードポリシーとして凍結する枠組みを目指す。 - 人間による guidance を実行可能行動の prior とし、simulation を候補ポリシーの探索・検証の補助環境として使う。 - 最終的に Demonstrations on Request と Simulation on Demand を組み合わせた agentic recipe『ACE-CaP-0』を提案。

- 従来の agentic robot control は実行中に frontier models を繰り返し呼ぶため、タスク完了時間が増大する点が課題だった。 - CaP の考え方を活かし、開発時の推論コストを実行可能プログラムに埋め込み、実行時には再利用する点が特徴。 - 物理実験コストを抑えつつ信頼できるコードポリシーを開発するという中心的課題に対し、人間 guidance と simulation の使い分けを実証的に検討。 - 結果として、人間による robot demonstrations は要求時のみ、simulation は実世界ポリシー改善時に選択的に使う方が良いという知見を示した。 - 実行時には人間も coding agent もループに入らず、runtime perception と control のみで動作する点が先行手法との差異。

- 提案する ACE-CaP-0 は、ポリシー改訂 (policy revision) と経験獲得 (experience acquisition) を組み合わせた agentic recipe。 - 経験獲得の手段として Demonstrations on Request を採用し、必要時に人間による robot demonstrations を prior として取得。 - 併せて Simulation on Demand を採用し、実世界でのポリシー改善時に選択的に simulation を利用して候補ポリシーを探索・テスト。 - 開発されたポリシーは frozen programs として保持され、実行時には coding agent を呼ばずに runtime perception と control で動作。 - これにより開発時の推論を複数回の実行にわたり再利用可能にする。

- alignment、multi-object handling、bimanual coordination を含む 8 つの実世界 manipulation タスクで検証。 - 凍結されたプログラムは 240 試行中 221 試行成功、92.1% の成功率を達成。 - タスク間の平均実行時間は 0.97 分から 2.27 分の範囲。 - 実行時には人間や coding agent をループに入れず、runtime perception と control のみで動作することを確認。

- 人間 guidance は実行可能行動の prior として有用で、robot demonstrations は要求時に取得するのが良いという知見。 - simulation は実世界ポリシー改善時に選択的に使う方が有効という知見。 - CaP が経験を信頼性が高く再利用可能な物理スキルへ変換する可能性を示す一方、詳細な限界や失敗分析は要旨からは不明。 - タスク数や試行数、実行時間の範囲は示されるが、他手法との定量的比較や統計的議論は要旨からは不明。

- Code as Policies (CaP) の原論文。 - frontier models を用いた agentic robot control の関連研究。 - 人間による robot demonstrations を prior として使う learning from demonstration 系の研究。 - simulation を実世界ポリシー改善に選択的に用いる sim-to-real 関連研究。 - 実行時推論コスト削減のための program synthesis / code policy 研究。