シーン再構成2026/8/25arXiv:2608.24212

NeoWorld-Pro: 単眼画像から対話型シーンをプログラミングし具現化シミュレーションを実現

NeoWorld-Pro: Programming Interactive Scenes from Monocular Images for Embodied Simulation

単眼RGB画像を、物理特性や関節構造を持つ対話型3Dシーンとして再構成するフレームワークを提案。MLLMによるコード生成と物理エンジンでの検証を組み合わせ、安定した積み重ねや細かい操作などの複雑なタスクを可能にした。

詳しい要約

1. どんなもの？

NeoWorld-Proは、単眼RGB画像を入力として、物理的にインタラクティブな3Dシーンを生成するフレームワークである。MLLMのゼロショット推論とコード合成能力を活用し、画像をオブジェクトの幾何学、関節、物理特性を指定する実行可能なプログラムに変換する。さらに、physics-in-the-loop機構により、生成されたプログラムを物理エンジンで実行・検証し、物理的に妥当な関節、オブジェクト構成、相互作用、空間関係を実現する。これにより、Embodied AIのシミュレーション用アセットを実世界に忠実に生成することを目指す。

2. 先行研究と比べてどこがすごい？

先行研究のimage-to-URDF手法は、物理的根拠やシーンレベルのインタラクティビティが欠如しており、単眼画像からシミュレーション用シーンを直接変換する際に課題があった。NeoWorld-Proは、この問題を手続き的プログラミングとして再構成することで、MLLMのコード合成能力を活用し、物理的整合性を保証するphysics-in-the-loop検証を導入した点が革新的である。これにより、従来のオープンループ手法や単眼再構成手法を上回る性能を達成している。

3. 技術・手法の肝は？

手法の核心は、単眼画像をインタラクティブな3D環境の手続き的プログラミングとして扱うことである。具体的には、MLLMを用いて画像からオブジェクトの幾何学、関節、物理特性を指定するプログラムを生成する。その後、physics-in-the-loop機構により、生成されたプログラムを物理エンジンで実行し、その結果を検証して反復的に修正する。これにより、物理的に妥当な関節、オブジェクト構成、相互作用、空間関係を強制する。

4. どうやって有効だと検証した？

実験では、NeoWorld-Proがオープンループ手法や先行の単眼再構成手法よりも優れていることを示した。さらに、安定した積み重ねや細かい操作などの複雑な下流タスクを可能にすることを実証した。具体的な評価指標やデータセットは要旨からは不明である。

5. 議論はある？

要旨からは、提案手法の限界や議論点は明示されていない。ただし、MLLMのコード合成に依存するため、MLLMの性能やプログラムの複雑さに影響を受ける可能性が考えられる。また、物理エンジンでの検証は計算コストがかかる可能性がある。しかし、これらの点は要旨では言及されていない。

6. 次に読むべき論文は？

要旨で参照されている先行研究は、image-to-URDF手法や単眼再構成手法である。具体的な論文名は不明だが、関連分野として、単眼3D再構成、物理シミュレーション、Embodied AIのためのシーン生成、MLLMを用いたコード合成などの研究が挙げられる。次に読むべき論文としては、これらの分野の代表的な研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yumeng He, Yichen Song, Xiaotian Yang, Weijia Zhang, Zanwei Zhou, Junru Gong, Xiaokang Yang, Yunbo Wang

分類: cs.CV

原文アブストラクト

The advancement of Embodied AI necessitates high-quality simulation assets that faithfully mirror the real world. However, transforming raw visual observations into simulation-ready scenes remains challenging due to the lack of physical grounding and scene-level interactivity in current image-to-URDF methods. We propose NeoWorld-Pro, a framework that reformulates monocular scene reconstruction as procedural programming for interactive 3D environments. Leveraging the zero-shot reasoning and code synthesis capabilities of MLLMs, NeoWorld-Pro converts a single RGB image into executable programs specifying object geometry, articulation, and physical properties. A physics-in-the-loop mechanism then iteratively refines the generated programs by validating their execution in a physics engine, enforcing physically plausible articulations, valid object compositions and interactions, and accurate spatial relationships. Experiments show that NeoWorld-Pro outperforms open-loop and prior monocular reconstruction methods, while enabling complex downstream tasks such as stable stacking and fine-grained manipulation.

arXivで原文を読む →arXiv概要ページ

← 論文一覧