日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
シーン再構成/sim2realarXiv:2609.36024

CoDimRecon: 変形可能な曲線・曲面・体積を含むシミュレーション可能な3Dシーンのエージェント的再構成

CoDimRecon: Agentic Reconstruction of Sim-Ready 3D Scenes with Deformable Curves, Surfaces, and Volumes

シェア:XThreadsFacebookLINEはてブBluesky

多視点RGB画像から、剛体・関節物体・変形物体を含む編集可能な3Dシーンをエージェント的に再構成し、ロッド・シェル・ソリッドの物理シミュレーションにそのまま使えるアセットを生成するフレームワーク。

詳しい要約

1. どんなもの?

- 実世界の多視点RGB観測から、rigid, articulated, deformable objectsを含む編集可能な3Dシーンを再構成するagentic framework。 - 既存手法はrigid objectsを主に仮定していたが、deformablesのsimulation-ready geometryは次元(curves, surfaces, volumes)に依存し、elasticityを超えるモデルが必要な場合がある。 - CoDimReconは、curvesをcenterlines with radii、surfacesをmanifold shells with thickness、volumesをwatertight solidsとして再構成し、volumetric meshingを可能にする。 - ReplicaとScanNet++で評価され、competitiveなcompositional reconstruction accuracyを達成しつつ、rod, shell, solid simulation用のdeformable assetsを生成。…

2. 先行研究と比べてどこがすごい?

- 既存手法は主にrigid objectsを仮定しており、deformablesのsimulation-ready geometryの再構成にはギャップがあった。 - CoDimReconは、rigid, articulated, deformable objectsを統合的に扱い、deformablesを次元(curves, surfaces, volumes)に応じて適切な表現で再構成する点が新しい。 - また、agentic frameworkにより、behavioral testsを通じてmotion, geometry, numerics, material modelingの不一致を検出し、ターゲットを絞った修正を可能にする。 - 評価では、ReplicaとScanNet++でcompetitiveな再構成精度を示しつつ、deformable assetsを生成できることを実証。

3. 技術・手法の肝は?

- agentic framework: scene-level geometric priorsでscaleとlayoutをグラウンディングし、object-level generated meshesがagentを詳細でコンパクトなgeometryに導く。 - articulated rigid objectsはmovable partsに分解され、explicit jointsを持つ。 - deformablesに対しては、category-wise agent sessionsがcurvesをcenterlines with radii、surfacesをmanifold shells with thickness、volumesをwatertight solidsとして再構成。 - reusable simulator skillsが互換性のあるphysical modelsとparametersを初期化。 - agent-guided behavioral testsがmismatchesを検出し、motion, geometry, numerics, material m…

4. どうやって有効だと検証した?

- ReplicaとScanNet++のシーンで評価され、compositional reconstruction accuracyがcompetitiveであることを示した。 - さらに、rod, shell, solid simulation用のdeformable assetsを生成できることを実証。 - すべての3表現(curves, surfaces, volumes)でrobot interactionsを実演。 - 特に、controlled paper-foldingケースでは、behavioral testingがplastic bendingを促すことを示した。

5. 議論はある?

- 要旨からは、手法の限界や失敗ケース、計算コスト、スケーラビリティに関する議論は明示されていない。 - ただし、behavioral testingがmismatchesを検出し、修正をトリガーするプロセスは、複雑なdeformable behaviorsのモデリングにおける課題を示唆している。 - また、elasticityを超えるモデルが必要な場合があることが言及されており、material modelingの一般性が議論の余地として考えられる。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていないが、関連手法として以下が考えられる: - rigid object reconstruction: 例えば、NeRF, Instant-NGP, 3D Gaussian Splattingなどのmulti-view reconstruction手法。 - articulated object reconstruction: 例えば、SAPIEN, PartNet-Mobility, URDF生成手法。 - deformable object reconstruction: 例えば、Dynamic NeRF, Deformable Gaussian Splatting, PhysGaussianなど。 - simulation-ready scene reconstruction: 例えば、Scan2CAD, SceneCAD, 3D-FRONT, Replica, ScanNet++。 - agentic frameworks: 例えば、Voyager, SayCan, Code as Policiesなど。 -…

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shuzhao Xie, Lelin Wang, Guying Lin, Zhi Wang, Minchen Li

分類: cs.CV, cs.GR, cs.RO

原文アブストラクト

Reconstructing simulation-ready 3D scenes from real-world observations enables robotics, gaming, and immersive applications, yet existing methods largely assume rigid objects. This leaves an important gap for deformables, whose simulation-ready geometry depends on dimensionality (curves, surfaces, or volumes) and whose behavior may require models beyond elasticity. We present CoDimRecon, an agentic framework that reconstructs editable scenes containing rigid, articulated, and deformable objects from multi-view RGB observations. Scene-level geometric priors ground scale and layout, while object-level generated meshes guide the agent toward detailed, compact geometry; articulated rigid objects are decomposed into movable parts with explicit joints. For deformables, category-wise agent sessions reconstruct curves as centerlines with radii, surfaces as manifold shells with thickness, and volumes as watertight solids for volumetric meshing. Reusable simulator skills initialize compatible physical models and parameters, while agent-guided behavioral tests expose mismatches and trigger targeted revisions of motion, geometry, numerics, or material modeling. On evaluated Replica and ScanNet++ scenes, CoDimRecon achieves competitive compositional reconstruction accuracy while additionally producing deformable assets for rod, shell, and solid simulation. We further demonstrate robot interactions across all three representations, including a controlled paper-folding case in which behavioral testing motivates plastic bending.

PR本紙発行元 EmplifAI