WorldMirror: 実世界ロボット実演から対話可能なデジタルツインを生成するエージェント型real-to-simフレームワーク

- in-the-wild の robot demonstrations から interactive な digital twin を構築する agentic real-to-sim framework「WorldMirror」 - 中心アイデアは real-to-sim 構築を『実行可能な world program の反復的洗練』として定式化すること - 生成された world では physically consistent な interaction と trajectory replay が可能 - 対象は多様で現実的な観測を含む実世界のロボット実演データ

- 既存の simulation での robot learning は scene 構築や task 指定に多大な手作業を要し、training scalability と data diversity を制限していた - 一方 in-the-wild robot demonstrations は多様で現実的な interaction 観測を自然に提供するが、simulation 活用には高忠実な visual reconstruction と物理的に整合する interaction の両方が必要だった - WorldMirror は general-purpose agents の柔軟な適応・3D 空間推論と、specialized generative models の高忠実な外観・幾何再構成を組み合わせる点が異なる - 手作業での scene/task 構築を不要にし、実演データから直接 interactive world を生成する方向を狙う

- real-to-sim 構築を executable world program の iterative refinement として定式化 - coding agent が観測 scene を分解し、reconstruction steps を計画し、specialized な image/3D generation tools を編成 - verification feedback を通じて program を洗練 - camera-pose-anchored scene representation が world を static visual context、support geometry、editable interactive assets に組織化し、scene・objects・robot 間の spatial relationships を保持 - agent はこの表現を用いて reconstruction errors を診断・修正し、physically consistent interaction と trajectory replay を可能にする

- DROID 上の experiments で評価 - WorldMirror が visually faithful かつ geometrically consistent な interactive worlds を再構成できることを示す - 記録された robot trajectories の physical validity を保持できることを確認 - 具体的な評価指標や比較手法の詳細は要旨からは不明

- 要旨からは不明 - 想定される論点として、agent による verification feedback の信頼性、specialized generative models の再構成誤差、物理整合性の保証範囲、DROID 以外への汎化性が考えられるが、要旨に明記はない

- DROID（実験に用いられた in-the-wild robot demonstrations の dataset） - general-purpose agents / coding agents を用いた real-to-sim 構築の関連研究 - specialized image/3D generation models を用いた scene reconstruction の関連研究 - executable world program や program refinement による simulation 構築の関連手法 - 要旨で直接参照・比較されている個別論文名は不明