日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マニピュレーションarXiv:2611.04493

MPMガイド付き3Dガウシアンシミュレーションによる物理拡散ポリシー

Physical Diffusion Policy via MPM-Guided 3D Gaussian Simulation

シェア:XThreadsFacebookLINEはてブBluesky

3Dガウシアンスプラッティングと微分可能なMPMシミュレーションを組み合わせて物体の材料特性を推定し、それを材料認識型MoE拡散ポリシーに統合することで、多様な物体への適応的なマニピュレーションを実現した研究。

詳しい要約

1. どんなもの？

- 多様な物体の manipulation を対象に、物体の物理理解を diffusion policy に組み込んだ枠組み - 視覚模倣学習に物体の物理的性質の推定を付加する physics-aware diffusion policy - 3D Gaussian Splatting と微分可能な Material Point Method (MPM) simulation を結合し、映像から material properties を復元 - 推定した物理条件を material-aware Mixture-of-Experts diffusion policy に統合 - 実運用向けに physics memory bank を導入し、オンライン simulation 最適化を不要にする

2. 先行研究と比べてどこがすごい？

- 既存の diffusion policy は multimodal な manipulation 行動をモデル化できる一方、明示的な物理推論を欠く - 異種物体に対して averaged actions を出力しうる点が課題だった - 本研究は視覚実演から material properties を推定し policy に組み込むことで、物理レジームをまたぐ適応的行動生成を狙う - 既存の diffusion-based approaches に対し manipulation 成功率と汎化の改善を報告

3. 技術・手法の肝は？

- 3D Gaussian Splatting と微分可能な MPM simulation を結合し、視覚実演から material properties を推定 - video guidance と particle-level constraints により物理パラメータ推定の精度を高める - 推定した物理条件を material-aware Mixture-of-Experts diffusion policy に統合し、物理レジームごとに適応的な行動を生成 - physics memory bank により、オンライン simulation 最適化なしで効率的に物理情報を検索・利用

4. どうやって有効だと検証した？

- 広範な simulated および real-world objects での実験を実施 - 既存の diffusion-based approaches と比較し、manipulation success と generalization の改善を示す - 詳細な評価指標・被験物体数・比較手法の内訳は要旨からは不明

5. 議論はある？

- 物理知識の導入が多様環境でのスケーラブルな robot manipulation に重要だと主張 - 異種物体の deformation や contact dynamics の違いに対処する必要性を議論 - 限界・失敗事例・計算コスト・memory bank の汎化性に関する具体的議論は要旨からは不明

6. 次に読むべき論文は？

- diffusion policy の原論文（Diffusion Policy） - 3D Gaussian Splatting の原論文 - Material Point Method (MPM) を用いた微分可能物理シミュレーション研究 - Mixture-of-Experts を diffusion policy に適用した研究 - 物体の material property 推定に関する視覚ベース研究（要旨で個別参照はなし）

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Can Wang, Qiyuan Qiao, Lei Liu, Ge Yuan, Xinhui Liu, Dong Xu

分類: cs.RO

原文アブストラクト

Learning robust manipulation policies for diverse everyday objects remains challenging because objects with different materials exhibit distinct deformation and contact dynamics. While diffusion policies provide a powerful framework for modeling multimodal manipulation behaviors, they typically lack explicit physical reasoning and may produce averaged actions when facing heterogeneous objects. We present a physics-aware diffusion policy that augments visual imitation learning with object physical understanding. Our framework recovers material properties from visual demonstrations by coupling 3D Gaussian Splatting with differentiable Material Point Method simulation, where video guidance and particle-level constraints enable accurate physical parameter estimation. The estimated physics conditions are further integrated into a material-aware Mixture-of-Experts diffusion policy, allowing adaptive behavior generation across different physical regimes. For practical deployment, we introduce a physics memory bank that provides efficient physical retrieval without requiring online simulation optimization. Experiments on a wide range of simulated and real-world objects demonstrate improved manipulation success and generalization over existing diffusion-based approaches. These results show that incorporating physical knowledge is critical for scalable robot manipulation in diverse environments.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI