RoboAuto: 多層的な物理理解による自律ロボットプログラム探索

- LLM-based autonomous agents がロボット操作プログラムを反復生成・評価・改良する Code-as-Policy の枠組みにおいて、物理理解を明示的に組織化するプログラム探索フレームワーク RoboAuto を提案する。 - 物理理解を object / scene / interaction の3レベルに分け、それぞれを階層的知識ベース、scene grounding、multi-stage planning で扱う。 - 5つの benchmark family で評価し、実ロボットの long-horizon タスクにも適用する。

- 既存手法は主に execution feedback に頼ってプログラムを改良し、物体の操作可能性・scene geometry の制約・interaction の成否理由といった物理的問いを未解決のままにしがちだった。 - RoboAuto は object / scene / interaction の3レベルで物理理解を明示的に組織化する点が異なる。 - LIBERO-PRO の short-horizon で 89.1% の成功率、LIBERO-PRO Long と LIBERO-Plus では ASPIRE の平均成功率の2倍超を達成。 - 精密操作を要する long-horizon 実ロボット3タスクで ASPIRE と π_{0.5} を上回る。

- 階層的知識ベース: 実行可能な skills と、affordances・spatial relations・action effects に関する object-centric knowledge を統合し、embodied data と online task solving から学習する。 - scene grounding: 知識を現在の環境に結び付け、関連物体を特定し、action-critical quantities を解決する。 - multi-stage planning with self-designed experiments: 各段階が期待する物理効果を生むか検査し、競合する仮説を能動的に試して物理的不確実性を解消する。

- 5つの benchmark family で評価。LIBERO-PRO の short-horizon タスクで 89.1% の成功率。 - LIBERO-PRO Long と LIBERO-Plus で ASPIRE の平均成功率の2倍超。 - 精密操作を要する long-horizon 実ロボット3タスクで ASPIRE と π_{0.5} を上回る。 - 知識ベースが simulators と embodiments をまたいで転送されること、プログラム探索性能が知識ベースのサイズとともにスケールすることを示す。

- 知識ベースの simulator / embodiment 間転送と、サイズに対するスケーリングが示されている。 - 各コンポーネントの個別 ablation や失敗事例、限界については要旨からは不明。 - self-designed experiments のコストや実ロボットでの安全性への言及は要旨からは不明。

- ASPIRE(比較対象の program search 手法) - π_{0.5}(比較対象の policy) - Code-as-Policy(基盤となる program search 枠組み) - LIBERO-PRO / LIBERO-Plus(benchmark) - LLM-based autonomous agents による iterative program refinement の関連研究