日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
sim2realarXiv:2610.27690

NeoWorld-3: ピクセルからコード定義の物理世界へ

NeoWorld-3: From Pixels to Code-Defined Physical Worlds

シェア:XThreadsFacebookLINEはてブBluesky

視覚観測からコードで記述された実行可能な3D物理世界を再構築するコーディングエージェント型フレームワーク。再構築したデジタルツイン上で計画した操作を実機の双腕ロボットでゼロショット実行しReal-Sim-Realループを実現した。

詳しい要約

1. どんなもの?

- 視覚観測から『物理的に操作可能な3D世界』を再構築するcoding-agentフレームワーク - 出力はblack-boxな3D生成物ではなく、調整可能で実行可能なプログラム - 単体のarticulated objectから複合的なcompositional sceneまで対象 - 構成要素 - NeoSDK: 低レベルgeometry、part composition、differentiable parameter refinement、physics validationを担う計算エンジン - NeoMCP: これらをvision-language agentが呼び出せるtool-callable APIとして公開 - hierarchical coordinator-worker architectureで規模拡張 - 目的はsimulation-readyなworld reconstruction、すなわちvisual realismを超えたphysical interactivityの実現

2. 先行研究と比べてどこがすごい?

- 既存のblack-box 3D generationはvisual realismは達成してもphysical interactivityを提供できない、と問題視 - 提案手法は生成結果を『tunable, executable programs』として出力する点が本質的な違い - コードとして可視化・編集・反復改善できる - differentiable parameter refinementとphysics validationを組み込む - object-levelおよびscene-levelのreconstruction benchmarkでstate-of-the-artのgeometric fidelityとphysical readinessを達成したと主張 - 再構築したtwin内で計画したmanipulation trajectoryが実機dual-arm robotでzero-shot実行でき、Real-Sim-Real loopを完結させた点が差分として示唆される

3. 技術・手法の肝は?

- NeoSDKが低レベルgeometry、part composition、differentiable parameter refinement、physics validationを提供 - NeoMCPがこれらをstructured, tool-callable APIとしてvision-language agentに公開 - agentは視覚的にinspectし、codeをeditし、programをiteratively refine - hierarchical coordinator-worker architectureにより、standalone articulated objectからcomplex compositional sceneへとスケール - 出力は実行可能プログラムであり、パラメータ調整と物理検証が可能 - 詳細なアルゴリズムや学習手順は要旨からは不明

4. どうやって有効だと検証した?

- object-levelおよびscene-levelのreconstruction benchmarkで評価 - state-of-the-artのgeometric fidelityとphysical readinessを達成したと報告 - 再構築したtwin内でmanipulation trajectoryを計画し、physical dual-arm robot上でzero-shot実行に成功 - Real-Sim-Real loopの完結を実証 - 具体的なbenchmark名、指標、被験物体数、成功率などの定量詳細は要旨からは不明

5. 議論はある?

- 主張は『black-box 3D generationではphysical interactivityが得られない』という問題設定に基づく - コード定義の世界表現により編集性・再現性・物理検証可能性を得るという設計思想 - 限界や失敗事例、計算コスト、agentの信頼性、sim-to-real gapの定量的議論は要旨からは不明 - benchmarkの詳細や比較手法の範囲も要旨からは不明

6. 次に読むべき論文は?

- 要旨で直接参照/比較されている研究は明示されていない(『existing black-box 3D generation』との対比のみ) - 関連手法として次に読む候補(一般名) - black-box 3D generation(例: text/image-to-3D生成の代表的手法) - articulated object reconstruction / part-based 3D reconstruction - differentiable rendering / differentiable parameter refinement - physics-based simulationとsim-to-real transfer - vision-language agentによるtool-callable APIを用いたcode generation/editing - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Eachen Soong, Zijian Niu, Haoran Xu, Yihong Dong, Yunbo Wang, Xiaokang Yang

分類: cs.CV

原文アブストラクト

Simulation-ready world reconstruction demands physical interactivity beyond visual realism, which existing black-box 3D generation fails to deliver. We present NeoWorld-3, a coding-agent framework that reconstructs interactive 3D worlds from visual observations via tunable, executable programs. At its core, NeoSDK provides the underlying computational engine for low-level geometries, part composition, differentiable parameter refinement, and physics validation. At the same time, NeoMCP exposes these capabilities as structured, tool-callable APIs for vision-language agents to visually inspect, edit code, and iteratively refine programs. Through a hierarchical coordinator-worker architecture, the framework scales seamlessly from standalone articulated objects to complex compositional scenes. Evaluations across object-level and scene-level reconstruction benchmarks demonstrate that NeoWorld-3 achieves state-of-the-art geometric fidelity and physical readiness. Crucially, manipulation trajectories planned within our reconstructed twins achieve successful zero-shot execution on a physical dual-arm robot, completing the Real-Sim-Real loop.

関連論文

PR本紙発行元 EmplifAI