日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
3D再構成arXiv:2610.21297

GeoPano: 単一パノラマからの幾何学的に正確な3D再構成

GeoPano: Towards Geometrically Accurate 3D Reconstruction from a Single Panorama

シェア:XThreadsFacebookLINEはてブBluesky

単一のパノラマ画像から、球面歪みと視点間の不整合を抑えつつ、幾何学的に正確で一貫した点群をフィードフォワードで再構成する手法を提案。

詳しい要約

1. どんなもの?

- 単一のpanoramaから360°の3D scene geometryをfeed-forwardで復元する枠組み - 入力はERP画像、出力はgeometrically accurateでconsistentなpoint cloud - roboticsやAR/VR応用を想定 - 球面投影歪みとcross-view不整合の課題に対処

2. 先行研究と比べてどこがすごい?

- 従来はERP画像から直接推定すると球面歪みの影響を受ける - 歪み低減のためperspective viewに分解する手法はview間のgeometric inconsistencyを生む - GeoPanoはpanoramic-aware attention aggregatorとhybrid supervisionでこれらを抑制 - 再構成精度、geometric consistency、visual fidelityで従来SOTAを大幅に上回ると主張

3. 技術・手法の肝は?

- panoramic-aware attention aggregatorを提案 - 新規Pano-Attention機構を備えたstreamlined attention architecture - panoramaのintrinsic spherical geometryを明示的に活用しcross-view interactionを誘導 - hybrid supervision strategyでperspective spaceのfine-grained local detailsとspherical spaceのglobal structural coherenceを同時に強制

4. どうやって有効だと検証した?

- 実験により再構成精度、geometric consistency、visual fidelityで従来SOTAを大幅に上回ることを示す - 具体的なデータセット名や評価指標、比較手法の詳細は要旨からは不明

5. 議論はある?

- 球面歪みとcross-view不整合の課題を指摘 - 提案手法の有効性を主張するが、限界や失敗ケース、計算コスト、汎化性に関する議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている個別の先行研究は明示されていない - 関連手法としてpanoramaをperspective viewに分解する一般的アプローチや、単一画像3D再構成の定番手法(例: NeRF, 3D Gaussian Splatting, DUSt3Rなど)が候補 - 具体的な次読論文は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jing OU, Zidong Cao, Liaoyuan Fan, Zhuoxiao Li, Shuai Zhang, Yinrui Ren, Dongli Wu, Haoang Li, Hui Xiong, Wufan Zhao

分類: cs.CV

原文アブストラクト

Panoramic 3D reconstruction enables the holistic recovery of complete 360 $^\circ$ scene geometry, offering significant benefits for robotics and AR/VR applications. However, directly estimating geometry from ERP images is inherently challenged by spherical distortions. To reduce spherical projection distortions, a common strategy is to decompose panoramas into distortion-free perspective views, but independently processing these views often introduces cross-view geometric inconsistencies. To address these challenges, we introduce GeoPano, a feed-forward framework for single-view panoramic 3D reconstruction that recovers a geometrically accurate and consistent point cloud from a single panorama. Our approach is driven by two key innovations: First, we propose a panoramic-aware attention aggregator, featuring a streamlined attention architecture equipped with a novel Pano-Attention mechanism, which explicitly exploits the intrinsic spherical geometry of the panorama to guide cross-view interactions, thereby suppressing geometric inconsistencies. Furthermore, we formulate a hybrid supervision strategy to jointly enforce fine-grained local details in perspective space and global structural coherence in spherical space. Experiments demonstrate that our method significantly outperforms previous SOTA approaches in reconstruction accuracy, geometric consistency, and visual fidelity.

関連論文

PR本紙発行元 EmplifAI