日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
世界モデルarXiv:2610.23156

物体中心の剛体ダイナミクスを学習する3D世界モデルORD-WM

ORD-WM: Learning Object-Centric Rigid Dynamics for 3D World Modeling in Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

各物体をジオメトリを保つ潜在表現に符号化し、行動条件付きで物体ごとのSE(3)剛体運動を予測することで、形状ドリフトのない安定した多段予測と実時間再計画を実現した3D世界モデル。

詳しい要約

1. どんなもの?

- ロボットマニピュレーションのための3D world model「ORD-WM」 - 物体中心のrigid dynamicsを学習する手法 - 各物体のpoint cloudをgeometry-awareなlatent表現に符号化 - action-conditioned dynamics modelで物体ごとのSE(3) motion incrementを予測 - 予測したrigid変換をlatent状態に解析的に適用し、形状と姿勢変化を分離 - 多段予測とclosed-loop model predictive controlへの応用を狙う

2. 先行研究と比べてどこがすごい?

- 既存のimage-based/dense 3D world modelは物体レベルのrigid motionを明示的に課していない - そのためrigid物体のgeometry preservationを暗黙的に学習する必要があった - 多段rolloutでshape driftやobject-level motion inconsistencyが生じやすい - ORD-WMは物体ごとのrigid変換を明示的に適用し、geometryとpose変化を分離 - これにより安定かつgeometry-preservingな多段予測を実現

3. 技術・手法の肝は?

- vector-neuron variational autoencoderを採用 - signed distance fields (SDF) で教師あり学習し、point cloudを3D vector featuresからなるgeometry-aware latentに符号化 - action-conditioned dynamics modelが物体ごとのSE(3) motion incrementを予測 - 次latent状態を無制約に生成せず、予測rigid変換を現latentに解析的に適用 - persistent object geometryとpose変化を分離する設計が肝

4. どうやって有効だと検証した?

- シミュレーションおよび実世界のmanipulationシナリオで実験 - 安定したgeometry-preservingな多段予測を確認 - closed-loop model predictive controlのための効率的なreal-time replanningを実証 - 詳細な評価指標・比較手法は要旨からは不明

5. 議論はある?

- 要旨からは不明 - 想定される論点としてshape driftやmotion consistencyの定量評価、実世界での汎化性が考えられるが、要旨に明記なし

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 関連手法としてimage-based world model、dense 3D world model、SE(3) rigid transformation、signed distance fields (SDF)、variational autoencoder、model predictive controlが挙げられる - 同分野の定番としてworld model、object-centric representation learning、rigid body dynamicsに関する論文が次に読む候補

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yueyang Weng, Xiaopeng Zhang, Yuxi Ou, Yongjin Mu, Chengzhi Zhao, Yanjie Li

分類: cs.RO

原文アブストラクト

World models provide robots with a predictive mechanism for reasoning about how actions change object states in manipulation tasks. However, existing image-based and dense 3D world models do not explicitly impose object-level rigid motion, leaving rigid-object geometry preservation to be learned implicitly and making multi-step rollouts susceptible to shape drift or object-level motion inconsistency. To address this, we propose ORD-WM, a 3D world model that learns object-centric rigid dynamics for robotic manipulation. ORD-WM learns a vector-neuron variational autoencoder supervised by signed distance fields, which encodes each object point cloud as a geometry-aware latent representation composed of 3D vector features, and uses an action-conditioned dynamics model to predict object-wise SE(3) motion increments. Rather than generating unconstrained next latent states, ORD-WM analytically applies predicted object-wise rigid transformations to the current latent states, separating persistent object geometry from pose changes. Experiments show that ORD-WM enables stable, geometry-preserving multi-step prediction and supports efficient real-time replanning for closed-loop model predictive control in simulated and real-world manipulation scenarios.

関連論文

PR本紙発行元 EmplifAI