日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
世界モデルarXiv:2611.04492

マルチモーダル3D世界シミュレーションのためのハイブリッド粒子・ボクセルダイナミクス

Hybrid Particle-Voxel Dynamics for Multimodal 3D World Simulation

シェア:XThreadsFacebookLINEはてブBluesky

点群を3Dボクセル潜在に圧縮する粒子・ボクセル複合オートエンコーダと行動条件付き潜在ダイナミクスを組み合わせ、見た目・形状・触覚を統一的3D表現で予測する世界モデルを提案した。

詳しい要約

1. どんなもの？

- ロボット行動に条件付きで将来を予測する3D world model の枠組み - 外観・geometry・tactile を単一の3D表現から同時に予測する multimodal な手法 - 名称は 3D World Simulator - point clouds を圧縮する hybrid particle-voxel autoencoder と、その latent の時間発展を予測する action-conditioned latent dynamics model から成る - 任意視点からの幾何整合な rendering と tactile 信号の統合を可能にする

2. 先行研究と比べてどこがすごい？

- 多くの action-conditioned world model は2D image/video 空間で予測し、3D scene を明示的にモデル化しないため、視点間の空間整合や長期的相互作用が難しい - 本研究は外観・geometry・tactile を統一3D表現で jointly 予測する点が異なる - 共有3D表現により任意視点からの幾何整合な rendering が可能 - 空間的に整合した tactile 信号を柔軟に統合できる - 具体的な先行研究名や定量比較は要旨からは不明

3. 技術・手法の肝は？

- hybrid particle-voxel autoencoder により point clouds を compact な3D voxel latents に圧縮 - action-conditioned latent dynamics model がその voxel latents の時間発展を予測 - 共有された3D表現が multimodal 予測と任意視点 rendering の基盤 - tactile は空間的に整合する形で統合 - 各構成要素の詳細な architecture や学習損失は要旨からは不明

4. どうやって有効だと検証した？

- 50 Hz での interactive かつ long-horizon な multimodal 予測を実証 - tactile と multi-view visual observations を用いた policy training/evaluation 向けのスケーラブルなデータ生成を示す - wrist-mounted カメラや新規 camera view を含む観測を扱う - 多様な物体を含む大規模データセットへスケール - 未見物体・未見 robot configurations での model-based planning を実証

5. 議論はある？

- hybrid particle-voxel dynamics が multimodal 3D world simulation の基盤になり得ると主張 - 長期的・多視点・tactile を含む予測と、policy 学習用データ生成や planning への応用可能性を示す - 限界・失敗事例・計算コスト・汎化の定量評価は要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として action-conditioned world model、video-based world model、point cloud / voxel ベースの3D表現学習、tactile を用いた policy learning の代表的文献を次に読むとよい - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jimmy Wang, Yifan Chou, Kaifeng Zhang, Yixuan Wang, Binghao Huang, Tao Yu, Saleh Nabi, Yunzhu Li

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

Predicting how the world evolves in response to robot actions is central to policy learning, evaluation, and planning. However, many action-conditioned world models predict future observations in 2D image or video space without explicitly modeling the underlying 3D scene, making spatial consistency across viewpoints and over long-horizon interactions challenging. We introduce 3D World Simulator, an action-conditioned multimodal world modeling framework that jointly predicts appearance, geometry, and tactile observations from a unified 3D representation. Our approach combines a hybrid particle-voxel autoencoder that compresses point clouds into compact 3D voxel latents with an action-conditioned latent dynamics model that predicts their evolution. The shared 3D representation supports geometrically consistent rendering from arbitrary viewpoints and flexible integration of spatially aligned tactile signals. Our experiments demonstrate interactive, long-horizon, multimodal prediction at 50 Hz. We then show how our model enables scalable data generation for policy training and evaluation using tactile and multi-view visual observations, including wrist-mounted and novel camera views. Furthermore, we scale our method to large datasets containing diverse objects and demonstrate model-based planning with unseen objects and robot configurations. Together, these results highlight the potential of hybrid particle-voxel dynamics as a foundation for multimodal 3D world simulation.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI