シーン再構築2026/10/20arXiv:2610.28585

SceneRig：単一画像からシミュレーション可能な3Dシーンを再構築するエージェントシステム

SceneRig: An Agentic System for Simulation-Ready 3D Scene Reconstruction from Single Images

単一画像から物理的に安定した編集可能な3Dシーンを生成するエージェント型システムを提案し、物体の配置精度とロボット政策の予測精度を向上させた。

詳しい要約

1. どんなもの？

- 単一画像から編集可能かつsimulation-readyな3D sceneを生成するagentic system「SceneRig」 - 幾何・視覚・物理のtoolを組み合わせて忠実な3D sceneを再構成 - agentがphysics simulator内でedit-and-validate loopを回し物理的安定性を達成 - 下流のrobotics用途(real-robot policy outcomes予測、記録manipulationのreplay)も狙う

2. 先行研究と比べてどこがすごい？

- 単一画像からのscene再構成はvisual similarityだけでは不十分で、物体の復元・正確な配置・物理的groundingが必要 - 既存手法はpost-hoc physics settlingに依存し、物体を誤配置し「見た目は正しいがmanipulation下で挙動が悪い」sceneを生む - SceneRigはagentがsimulator内でedit-and-validate loopを行うことで物理的安定性を実現 - 多様な入力でinstance segmentation、object-centric appearance、3D placementを改善しつつ物理的安定性を維持

3. 技術・手法の肝は？

- geometric・visual・physicalのtool群を組み合わせて単一画像から3D sceneを再構成 - agentがphysics simulator内でedit-and-validate loopを実行し物理的安定性を獲得 - 出力は編集可能かつsimulation-readyなscene - 詳細なアルゴリズム・モデル構成は要旨からは不明

4. どうやって有効だと検証した？

- 多様な入力に対しinstance segmentation、object-centric appearance、3D placementの改善と物理的安定性を評価 - 下流roboticsでreal-robot policy outcomesをbaselineより正確に予測 - 記録済みmanipulationのreplayをtrajectory adaptationなしでより確実に支援 - 定量的指標・データセットの詳細は要旨からは不明

5. 議論はある？

- post-hoc physics settlingの限界(誤配置・manipulation下での挙動不良)を動機として提示 - agentによるedit-and-validate loopが物理的安定性に有効であることを主張 - 限界・失敗ケース・計算コストなどの議論は要旨からは不明

6. 次に読むべき論文は？

- post-hoc physics settlingを用いる既存のsingle-image scene reconstruction手法(具体名は要旨からは不明) - 比較対象のbaseline method(具体名は要旨からは不明) - 関連するsimulation-ready scene生成・physics-grounded reconstructionの研究(具体名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rundong Luo, Yunong Liu, Di Cao, Matthew Tancik, Shyamal Buch, Colton Stearns, Wenqi Xian

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Simulation is a powerful tool for robotics, but building diverse, simulation-ready scenes at scale remains difficult. Reconstructing scenes from single images is a promising alternative, but visual similarity alone is insufficient: objects must also be recovered, accurately placed, and physically grounded. Existing methods that rely on post-hoc physics settling often misplace objects, producing scenes that look correct but behave poorly under manipulation. We present SceneRig, an agentic system that turns a single image into an editable, simulation-ready scene. SceneRig combines geometric, visual, and physical tools to reconstruct a faithful 3D scene. An agent then performs edit-and-validate loops inside a physics simulator to achieve physical stability. Across diverse inputs, SceneRig improves instance segmentation, object-centric appearance, and 3D placement while keeping the reconstructed scenes physically stable. Furthermore, SceneRig is effective for downstream robotics: its scenes predict real-robot policy outcomes more accurately than the baseline method and more reliably support replay of recorded manipulations without trajectory adaptation.

arXivで原文を読む →arXiv概要ページ

← 論文一覧