RobotAgentBench：オープンワールドにおけるロボット自律性のベンチマーク

- オープンワールドの家庭環境でロボットエージェントの自律性を評価する総合ベンチマーク RobotAgentBench (RAB) を提案する研究。 - agent-assisted, human-in-the-loop の real-to-sim pipeline で、interactive objects と physically grounded tasks を含む50の多様な household layouts を構築。 - 90 atomic tasks、18 short-horizon tasks、8 long-horizon tasks、4 open-ended scenarios を収録。 - task discovery、context reasoning、physical execution、adaptive recovery を閉ループで統合する robot agents の評価を狙う。

- 既存 benchmark は VLA や WAMs の個別能力を分離して評価するものが中心で、open-world robot autonomy の複雑さを捉えられていないと指摘。 - RAB は task-level と scenario-level の multi-level 評価を提供し、能力の統合度を測れる点が新しい。 - standalone な VLA/WAM models と多様な robot agent architectures を、統一された planning-execution-verification framework の下で比較可能にした点が特徴。 - 具体的な先行 benchmark 名や定量的な優位性は要旨からは不明。

- agent-assisted, human-in-the-loop の real-to-sim pipeline により、実環境由来の household layouts と physically grounded tasks を構築。 - task-level 評価では task discovery、context reasoning、manipulation、failure recovery、robustness の5次元を体系的に検査。 - scenario-level 評価では、これらの能力を統合して高次のユーザ要求を自律的に満たせるかを評価。 - planning-execution-verification framework を共通基盤として、VLA/WAM models と robot agent architectures を比較。

- RAB 上で extensive experiments を実施し、manipulation 能力と autonomy の間に大きなギャップがあることを示した。 - agentic architectures と recursive self-improvement の利点を実験的に示した。 - open-world robot autonomy に向けた残課題を明らかにした。 - 具体的な被験モデル数、タスク成功率、統計手法などの詳細は要旨からは不明。

- manipulation の性能向上だけでは open-world autonomy に直結せず、両者の間に実質的な隔たりがある点を議論。 - agentic architectures や recursive self-improvement が有効である一方、open-world robot autonomy には未解決の課題が残ると指摘。 - real-to-sim pipeline や評価設計の限界、sim-to-real ギャップに関する具体的議論は要旨からは不明。

- 要旨で直接参照・比較されている個別研究は明示されていない。 - 関連手法として vision-language-action (VLA) models、world-action models (WAMs)、robot agent architectures、recursive self-improvement を挙げる。 - 同分野の定番として、robotic manipulation の汎用 benchmark や real-to-sim / sim-to-real 転送研究を次に読む候補とする。