布地シミュレーション2026/8/27arXiv:2608.26766

MeshPriorDiT: 行動条件付き布地ダイナミクスのための階層的モデリング

MeshPriorDiT: Hierarchical Modeling for Action-Conditioned Cloth Dynamics

布地の動き予測を、メッシュGNNによる構造化された事前分布と、拡散トランスフォーマーによる生成的な残差に分解する階層モデルを提案し、長距離の協調と局所的な変形を両立させて予測精度を大幅に向上させた。

詳しい要約

1. どんなもの？

MeshPriorDiTは、アクション条件付きの布地ダイナミクス予測のための階層的モデルである。将来の布地の動きを、構造化されたメッシュ事前分布（mesh prior）と生成的残差（generative residual）に分解する。メッシュベースのGNNがアクション条件付きで多段階の頂点変位を予測し、材料トポロジーと把持制約を尊重した参照軌道を生成する。その後、履歴状態、計画アクション、メッシュ事前分布に基づいて、Residual DiTが条件付きフローマッチングを用いて、事前分布で捕捉されなかった残差運動を生成する。生成された残差は、材料隣接性を用いて再スケーリング・デコードされ、隣接頂点間の補正を調整する。

2. 先行研究と比べてどこがすごい？

既存手法は、メッシュベースGNN（局所物理応答を捉えるが、メッセージパッシング範囲が有限で遠隔領域の協調が制限され、自己回帰ロールアウトで誤差が蓄積）と、Transformerベースのダイナミクスモデル（大域的注意で長距離相互作用を捉えるが、明示的な材料接続性がなく、局所トポロジー応答をデータから学習する必要がある）の2つのパラダイムに分かれる。MeshPriorDiTは、これらを統合し、メッシュ事前分布で局所物理とトポロジーを保証しつつ、Residual DiTで大域的協調と残差生成を行う点が新しい。

3. 技術・手法の肝は？

手法の肝は、階層的分解と条件付きフローマッチングである。まず、アクション条件付きメッシュGNNが多段階の頂点変位を予測し、メッシュ事前分布を形成する。次に、履歴状態、計画アクション、メッシュ事前分布を条件として、Residual DiTが条件付きフローマッチングを用いて残差運動を生成する。最後に、生成された残差は材料隣接性を用いて再スケーリング・デコードされ、隣接頂点間の補正を調整する。これにより、局所的な物理的妥当性と長距離の協調を両立する。

4. どうやって有効だと検証した？

3つの布地操作タスクにわたる15ステップの自己回帰ロールアウトで評価した。平均Global MSEは、GNN-Onlyベースラインと比較して43.42%削減、DiT-DDPMベースラインと比較して75.03%削減した。また、Edge-strain MSEはGNN-Onlyと同等の良好な値を維持した。

5. 議論はある？

要旨からは、議論の詳細は不明。ただし、Edge-strain MSEがGNN-Onlyと同等であることから、局所的な物理的妥当性を保ちつつ大域的精度を向上させたことが示唆される。また、自己回帰ロールアウトでの誤差蓄積が軽減された可能性がある。

6. 次に読むべき論文は？

要旨で参照されている関連手法として、メッシュベースGNN（GNN-Only）とTransformerベースのダイナミクスモデル（DiT-DDPM）が挙げられる。また、条件付きフローマッチングの基礎となるFlow Matching、および拡散モデル（DDPM）に関する論文が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zihang Wang, Jianming Hu, Shang Su, Hao Huang, Mengkai Shi, Jun Gao, Shuo Feng

分類: cs.RO

原文アブストラクト

Action-conditioned cloth dynamics prediction requires both locally plausible deformation and long-range coordination. Existing approaches largely follow two paradigms. Mesh-based GNNs capture local physical responses through material connectivity. However, their finite message-passing range limits coordination between topologically distant regions, while autoregressive rollouts tend to accumulate prediction errors. Transformer-based dynamics models capture long-range interactions through global attention, but often operate without explicit material connectivity and must learn local topological responses directly from data. We propose MeshPriorDiT, a hierarchical dynamics model that decomposes future cloth motion into a structured mesh prior and a generative residual. An action-conditioned mesh GNN first predicts multi-step vertex displacements, yielding a reference trajectory that respects material topology and grasp constraints. Conditioned on historical states, planned actions, and the mesh prior, a Residual DiT then uses conditional flow matching to jointly generate the residual motion not captured by the prior. The generated residual is further rescaled and decoded using material adjacency to coordinate corrections across neighboring vertices. We evaluate MeshPriorDiT on 15-step autoregressive rollouts across three cloth manipulation tasks. Averaged over the three tasks, MeshPriorDiT reduces average Global MSE by 43.42% relative to the GNN-Only baseline and by 75.03% relative to the DiT-DDPM baseline, while maintaining a favorable Edge-strain MSE comparable to that of GNN-Only.

arXivで原文を読む →arXiv概要ページ

← 論文一覧