ダイナミクスモデリング2026/8/19arXiv:2608.18498

DyG$^2$T: 3Dガウス時空間粒子グラフ変換器による物体ダイナミクスのモデリング

DyG$^2$T: Modeling Object Dynamics with 3D Gaussian Temporal-Spatial Particle Graph Transformer

限られた視覚観測から物体の動きを正確に予測するため、3Dガウス粒子グラフ変換器を用いて、空間的・時間的に識別力のある表現を学習し、物体の軌跡と外観を予測するフレームワークを提案した。

詳しい要約

1. どんなもの？

DyG$^2$Tは、限られた視覚観測から物体の運動軌跡を予測するための動的モデリングフレームワークである。3D Gaussian Temporal-Spatial Particle Graph Transformerを用いて、Key Point表現を空間的に補完し、時間的に識別し、粒子グラフ上でマルチスケールな相互作用をモデル化する。

2. 先行研究と比べてどこがすごい？

既存手法は、再構成された粒子表現を疎なKey Pointsに圧縮し、局所的に制約された相互作用でその進化をモデル化するため、細かい局所詳細が失われ、空間・時間スケールでの識別的相互作用モデリングが不明瞭になり、軌跡のドリフトや外観予測の不正確さを招く。DyG$^2$Tは、空間的補完と時間的識別、およびグローバルな注意機構を導入することでこれらの問題を解決する。

3. 技術・手法の肝は？

手法の肝は、(1)空間的補完: 各Key Pointを周囲の生の粒子位置の集約で強化し、Key Point間の相対オフセットを明示的にエンコードして幾何構造の知覚を向上させる。(2)時間的識別: Temporal Disentangling Network (TDN)が潜在空間で支配的なフレーム間変動を特定し、フレーム間差を増幅して時間的に識別的な表現を生成し、Temporal Attentionで集約する。(3)相互作用モデリング: Particle Graph Transformerがグローバル注意を用いてKey Points間の長距離依存性を保持し、局所性による表現の均質化を緩和する。

4. どうやって有効だと検証した？

合成データセットと実世界データセットの両方で実験を行い、正確な動的モデリングと推論を達成し、クロスオブジェクトおよび実世界への一般化を示した。具体的な評価指標や比較対象は要旨からは不明。

5. 議論はある？

要旨からは、提案手法の限界や議論についての詳細は不明。ただし、Key Point表現の空間的補完と時間的識別が軌跡予測の精度向上に寄与することが示唆されるが、計算コストや実時間性能に関する議論は要旨に含まれていない。

6. 次に読むべき論文は？

要旨で参照されている既存手法は、粒子表現をKey Pointsに圧縮し局所的な相互作用をモデル化する動的モデリング手法である。具体的な論文名は不明だが、関連分野の定番として、物体動的モデリングにおけるParticle-based方法やGraph Neural Networkを用いた手法が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yansong Wang, Zhaobo Qi, Xinyan Liu, Beichen Zhang, Shuhui Wang, Weigang Zhang, Qingming Huang

分類: cs.CV

原文アブストラクト

Modeling object dynamics from limited visual observations is a fundamental problem for enabling accurate motion trajectory prediction in embodied interaction scenarios. Existing dynamics modeling methods first compress reconstructed particle representations into sparse Key Points and model their evolution using locally constrained interactions, thereby discarding fine-grained local details and obscuring discriminative interaction modeling across spatial and temporal scales, leading to drifting trajectories and inaccurate appearance prediction. To tackle these issues, we propose DyG$^2$T, a dynamics modeling framework that infers object motion trajectories by spatially completing and temporally discriminating Key Point representations and modeling multi-scale interaction over particle graphs. Spatially, DyG$^2$T enriches each Key Point by aggregating neighboring raw particle positions to recover fine-grained local details, while explicitly encoding relative offsets among Key Points to enhance geometric structure perception. Temporally, we introduce a Temporal Disentangling Network (TDN) to identify dominant cross-frame variations in latent space and amplify inter-frame differences, yielding temporally discriminative representations that are subsequently aggregated via Temporal Attention to capture frame-wise temporal evolution cues. For comprehensive interaction modeling, a Particle Graph Transformer leverages global attention to preserve discriminative long-range dependencies among Key Points, mitigating representation homogenization induced by locality-constrained modeling and providing a robust basis for accurate trajectory prediction. Experiments on both synthetic and real-world datasets demonstrate that DyG$^2$T achieves accurate dynamics modeling and reasoning, and exhibits strong cross-object and real-world generalization.

arXivで原文を読む →arXiv概要ページ

← 論文一覧