日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
3D再構成arXiv:2610.23250

長尺動画からの高効率3Dガウシアン再構成フレームワーク

LonGaussian: Tracking Foundation Priors for Long-Context Feedforward Gaussian Reconstruction

シェア:XThreadsFacebookLINEはてブBluesky

長い画像列からカメラ姿勢未知のまま、ストリーミング形式でコンパクトかつ描画可能な3Dガウシアンシーンを再構成する手法を提案。

詳しい要約

1. どんなもの？

- 長尺動画から高品質でレンダリング可能な3Dシーンを再構成する手法 - 名前は LonGaussian - streaming feed-forward なフレームワーク - 既知の intrinsics、未知の camera poses を前提とする - 長い画像列からコンパクトで大域的にレンダリング可能な Gaussian シーンを再構成する - ロボティクス知覚や embodied intelligence への応用を動機とする

2. 先行研究と比べてどこがすごい？

- 既存の feed-forward Gaussian reconstruction は少数画像からの高速予測が中心 - 長い系列への拡張には2つのボトルネックがある - 全 view の同時処理は GPU memory を増大させる - pixel-aligned 予測の累積は同一表面を冗長表現し、storage と rendering コストを増やす - LonGaussian は streaming 処理で長系列に対応 - 評価した feed-forward baselines より大幅に少ない Gaussians で novel-view rendering 品質を改善 - 具体的な先行研究名は要旨からは不明

3. 技術・手法の肝は？

- 事前学習済みの streaming 3D reconstruction backbone を基盤とする - 長文脈の geometric features を dense Gaussians に decode する - chunk 内では multi-frame point tracks が同一表面の繰り返し観測をリンクする - そのリンクに基づき learned merger が対応する Gaussian 予測を統合する - rendered-depth consistency filtering により、他 chunk 由来で局所再構成表面を誤って遮蔽する Gaussians を抑制する

4. どうやって有効だと検証した？

- DL3DV と RealEstate10K の benchmarks で評価 - novel-view rendering 品質の向上を確認 - 評価した feed-forward baselines と比べて大幅に少ない Gaussians を使用 - 具体的な指標や数値は要旨からは不明

5. 議論はある？

- 長系列再構成における GPU memory と冗長表現の課題に対処 - chunk 間の統合と遮蔽除去の設計が品質とコンパクト性に寄与 - 限界や失敗ケース、計算コストの詳細は要旨からは不明 - 未知 camera poses 下での精度やロボティクス実応用の議論は要旨からは不明

6. 次に読むべき論文は？

- 基盤となる pretrained streaming 3D reconstruction backbone の原論文 - feed-forward Gaussian reconstruction の代表的手法 - multi-frame point tracks を用いる tracking 手法 - DL3DV および RealEstate10K の benchmark 論文 - 具体的な参照研究名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhoufeng Xie, Guanjun Wu, Shuai Zhang, Xinggang Wang, Wenyu Liu

分類: cs.CV

原文アブストラクト

Reconstructing high-quality, renderable 3D scenes from long videos is essential for robotic perception and embodied intelligence. Many feed-forward Gaussian reconstruction methods rapidly predict 3D scenes from a small set of images, but extending them to longer sequences presents two bottlenecks: jointly processing all views increases GPU memory requirements, while accumulating pixel-aligned predictions redundantly represents the same surfaces and increases storage and rendering costs. We present LonGaussian, a streaming feed-forward framework that reconstructs compact, globally renderable Gaussian scenes from long image sequences with known intrinsics and unknown camera poses. Built on a pretrained streaming 3D reconstruction backbone, LonGaussian decodes long-context geometric features into dense Gaussians. Within each chunk, multi-frame point tracks link repeated observations of the same surface and guide a learned merger to consolidate the corresponding Gaussian predictions. Rendered-depth consistency filtering further suppresses Gaussians from other chunks that incorrectly occlude locally reconstructed surfaces. On DL3DV and RealEstate10K benchmarks, LonGaussian improves novel-view rendering quality while using substantially fewer Gaussians than the evaluated feed-forward baselines.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI