日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

SLAMarXiv:2611.12038

拡散事前分布と来歴認識を用いた動的環境向け単眼ガウシアンスプラッティングSLAM

DPGS-SLAM: Diffusion-Prior and Provenance-Aware Monocular Gaussian Splatting SLAM for Dynamic Visual Sensing

シェア:XThreadsFacebookLINEはてブBluesky

動的物体を含む環境で、拡散モデルによる背景補完と生成物の来歴管理を組み合わせ、遮蔽された静的背景を補いつつカメラ追跡と地図最適化の安定性を高める単眼RGB SLAMを提案した。

詳しい要約

1. どんなもの?

- 動的物体を含む環境でのdense mappingを目的としたmonocular RGB SLAMフレームワーク「DPGS-SLAM」 - Diffusion-PriorとProvenance-Awareを組み合わせた3D Gaussian splatting (3DGS) ベースのSLAM - 動的観測によるtrackingとreconstructionの汚染に対処 - 遮蔽された静的背景をdiffusionで暫定的に補完しつつmappingを行う

2. 先行研究と比べてどこがすごい?

- 既存の3DGS-SLAMは静的シーン仮定が破られると不安定になる問題があった - 動的観測を単純に除外すると遮蔽された静的背景が欠落・弱拘束になる問題に対処 - 生成された背景をprovenance labelで区別し、camera-pose推定やobserved-map最適化から除外する点が新しい - WildGS-SLAMと比較しStaDy4Dで平均PSNRを4.60 dB改善(monocular RGBのみ使用)

3. 技術・手法の肝は?

- optical-flowベースのmotion discoveryとSAM2による時間的一貫性のあるmask propagationで動的領域を同定 - 選択keyframeに対しfine-tuned diffusion inpainting modelで遮蔽領域の背景外観を生成 - Metric3D v2で完成画像からmetric depthを予測しprovisional Gaussian primitivesを初期化 - Provenance labelで生成primitivesと観測支持primitivesを区別し、生成内容をpose推定・map最適化から除外 - 遮蔽背景が可視化された際は該当生成primitivesを削除し、実RGB観測と予測depthから観測支持primitivesを独立初期化

4. どうやって有効だと検証した?

- TUM RGB-Dで平均ATE RMSE 1.2 cm、BONN RGB-Dで2.7 cmのcompetitiveなcamera trackingを達成 - StaDy4DでWildGS-SLAMに対し平均PSNRを4.60 dB改善(monocular RGB入力のみ) - 具体的なデータセット詳細や比較条件は要旨からは不明

5. 議論はある?

- 生成背景のprovisional表現と実観測への置換戦略の有効性が示唆される - diffusion生成内容をpose推定から除外する設計の妥当性や限界は要旨からは不明 - 動的物体の種類・規模やreal-time性、計算コストに関する議論は要旨からは不明

6. 次に読むべき論文は?

- WildGS-SLAM(比較対象の3DGS-SLAM) - SAM2 (segment anything model 2) - Metric3D v2 - diffusion inpainting model関連研究 - 3D Gaussian splatting (3DGS) および3DGS-SLAMの代表的先行研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yifan Luo, Takafumi Matsumaru, Vibekananda Dutta, Xin He

分類: cs.RO, cs.CV

原文アブストラクト

This paper presents DPGS-SLAM (Diffusion-Prior and Provenance-Aware Monocular Gaussian Splatting SLAM) for dense mapping in environments containing dynamic objects. Dynamic observations can contaminate camera tracking and scene reconstruction in visual SLAM (simultaneous localization and mapping). Although 3DGS (3D Gaussian splatting) enables efficient dense mapping, existing 3DGS-SLAM systems may exhibit instability when dynamic objects violate their underlying static-scene assumption. Excluding dynamic observations can reduce their influence on tracking and mapping, but may leave occluded static backgrounds missing or weakly constrained. Our proposed DPGS-SLAM is a monocular RGB SLAM framework that supports provisional representations of insufficiently observed static backgrounds through asynchronous diffusion-based background completion and provenance-aware Gaussian mapping. Dynamic regions are identified through optical-flow-based motion discovery and temporally consistent mask propagation by SAM2 (segment anything model 2). For selected keyframes, a fine-tuned diffusion inpainting model generates plausible background appearance in occluded regions, while Metric3D v2 predicts metric depth from the completed images to initialize provisional Gaussian primitives. Provenance labels distinguish generated primitives from observation-supported primitives, excluding generated content from camera-pose estimation and observed-map optimization. When previously occluded backgrounds become visible, eligible generated primitives are removed, and observation-supported primitives are independently initialized from real RGB observations and predicted depth. Experimental results demonstrated competitive camera tracking, with average ATE RMSE values of 1.2 cm on TUM RGB-D and 2.7 cm on BONN RGB-D. On StaDy4D, DPGS-SLAM improved average PSNR by 4.60 dB over WildGS-SLAM using only monocular RGB input.

関連論文

  1. 1パナソニックHDら、ロボット操作AI「T-Rex」を共同開発 12タスクで平均成功率65%研究・技術
  2. 2Hugging Face、ロボット学習基盤「LeRobot v0.7.0」を公開 対話操作と大規模データ学習に対応新製品・発表
  3. 3NVIDIA、Vera CPUのエージェント処理性能を公表 x86比で速度・電力効率を比較半導体・GPU
  4. 4Agility、SPAC合併でナスダック上場資金調達
  5. 5智元、清華大学などとCELを発表 96台のロボットで群体学習を検証研究・技術
PR本紙発行元 EmplifAI