画像生成2026/8/24arXiv:2608.23140

MIVIFI：多視点魚眼画像生成モデルの訓練のための視点と魚眼ドメインの橋渡し

MIVIFI: Bridging Perspective and Fisheye Domains for Training Multi-View Fisheye Image Generation Models

自動運転のための多視点魚眼画像生成を、等距離円筒投影を用いたクロスドメイン学習で実現し、データ不足を克服した。

詳しい要約

1. どんなもの？

本論文は、自動運転車の視覚認識に必要な360°全方位カバレッジを実現するため、複数視点のfisheye画像を生成する新しい問題を正式に導入し、2つの手法を提案する。1つ目はSyntheOcc-FEで、既存のSyntheOccアーキテクチャをfisheyeデータに適応させたもの。2つ目はMIVIFIで、Equirectangular Projectionを用いたクロスドメイン学習により、fisheyeデータセットの不足を克服し、高忠実度のシーン操作を可能にする。

2. 先行研究と比べてどこがすごい？

従来の生成モデルは標準的なperspective画像で成功しているが、広角歪みへの適用は未探索だった。また、既存のmulti-view fisheyeデータセットは限られており、稀なコーナーケースの合成には計算コストの高い3Dシミュレーションが必要だった。本手法は、volumetric semantic representationsに条件付けられたmulti-view fisheye画像生成を初めて導入し、クロスドメイン学習によりデータ不足を克服する点が新しい。

3. 技術・手法の肝は？

手法の肝は、SyntheOcc-FEではSyntheOccをfisheyeに適応し、MIVIFIではKITTI-360のfisheye画像とnuScenesのmulti-view標準画像を用いて、Equirectangular Projectionを介してドメイン間のギャップを橋渡しするクロスドメイン学習を採用している点。これにより、semantic occupancy入力の構造変更でアクターの追加・削除が可能になり、限られたfisheyeデータセットにない多様な気象条件や照明シナリオのレンダリングを実現する。

4. どうやって有効だと検証した？

定量的および定性的な実験により、提案手法が堅牢なphotorealistic multi-view fisheye画像生成を達成し、データ不足を扱うためのクロスドメイン戦略の具体的な利点を実証した。具体的な評価指標や比較対象は要旨からは不明。

5. 議論はある？

要旨からは、SyntheOcc-FEはfisheyeデータセットの不足により一般化が制限されるという議論がある。MIVIFIはクロスドメイン学習でこれを克服するが、ドメイン間の差異や生成品質の限界など、さらなる議論の余地がある可能性がある。詳細は要旨からは不明。

6. 次に読むべき論文は？

要旨で参照されている研究として、SyntheOcc（SyntheOcc-FEの基盤）と、KITTI-360およびnuScenesデータセットが挙げられる。また、関連する生成モデルやクロスドメイン学習の研究が考えられるが、具体的な論文名は要旨にないため、同分野の定番として、fisheye画像生成やvolumetric semantic representationを用いた生成モデルに関する論文を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Matthias Neuwirth-Trapp, Begüm Altunbas, Jiayi Wang, Yan Xia, Maarten Bieshaar, Xinyu Huang, Daniel Cremers

分類: cs.CV, cs.RO

原文アブストラクト

Achieving 360° coverage is critical for the visual perception systems of autonomous vehicles. Fisheye cameras offer a cost-effective solution by enabling full surround coverage with as few as two sensors. However, existing multi-view fisheye datasets are limited, and synthesizing rare corner cases typically requires computationally expensive 3D simulations, hindering the training. While generative models have achieved significant success in standard perspective imagery, their application to wide-angle distortion remains unexplored. In this work, we formally introduce the novel problem of multi-view fisheye image generation conditioned on volumetric semantic representations and present two distinct methods. We first propose SyntheOcc-FE, which adapts the SyntheOcc architecture to fisheye data. While effective, this method is constrained by the scarcity of fisheye datasets, which limits its generalization. To overcome these limitations, we propose our second method, MIVIFI (multi-view fisheye), which leverages cross-domain learning with Equirectangular Projections. By bridging the gap between dataset domains using KITTI-360 fisheye images alongside nuScenes multi-view standard images, our approach enables high-fidelity manipulation of scene content. This framework enables the structural modification of semantic occupancy inputs to introduce or eliminate specific actors and facilitates the rendering of diverse meteorological conditions and illumination scenarios absent in the limited fisheye datasets. Quantitative and qualitative experiments demonstrate that our methods achieve robust photorealistic multi-view fisheye image generation and highlight the specific advantages of our cross-domain strategy for handling data scarcity.

arXivで原文を読む →arXiv概要ページ