生成的セマンティックシーン補完

本論文は、屋外LiDARを用いたSemantic Scene Completion (SSC)を生成問題として再定式化するGenerative Semantic Scene Completion (GSSC)を提案する。SSCは、観測されたスキャン（対象ボリュームの約1%のみを観測）から高密度なセマンティックボクセルグリッドを復元するタスクであり、クラス不均衡が7,000倍以上に及ぶ。GSSCは、単一の離散拡散（discrete diffusion）フレームワークを3つの役割で用いる。

従来のSSC手法は、スパースな入力から直接高密度な出力を回帰する識別モデルが主流であり、極端なクラス不均衡や長尾分布の扱いに課題があった。本手法は、生成モデルとして定式化することで、データ合成による長尾への対処、ノイズからの生成、既存の完了結果の改良を単一フレームワークで実現する点が新しい。特に、外部のSSCベースモデルを再学習なしで改善できる点が優れている。

手法の核は、マルチノーマル離散拡散（multinomial discrete diffusion）を用いた生成モデルである。具体的には、(1) Paired Sparse-Dense Scene Synthesis (PS^3) により、スパースなLiDAR観測とそれに対応する高密度なセマンティック完了をペアで生成し、長尾データを補う。(2) Semantic-Guided Generative Scene Completion (SGSC) は、Bird's-Eye-View (BEV)セマンティックマップとスパースな3D特徴ストリームを条件として、ノイズからシーンを生成する。(3) Structured Source Discrete Diffusion (S^2D^2) は、既存の完了結果を1ステップのフローマッチングで改良する。

SemanticKITTIデータセットを用いて検証した。PS^3-SemanticKITTIコーパスを生成し、SemanticKITTIと併せて学習に使用した。SGSCの出力に対するS^2D^2の改良効果を、SGSC自身の出力と外部のSSCベースモデルに対して評価した。最強のベースモデルに対して、テスト時拡張なしの1ステップで38.8% mIoUを達成し、これはSemanticKITTI hidden testにおける因果的・単一スイープ・単一サンプル結果として最高であり、同条件下の従来最高を+2.1ポイント上回った。4ステップと8方向テスト時拡張では39.2%に達した。

要旨からは、提案手法の限界や潜在的な問題についての議論は不明である。ただし、生成モデルに基づくアプローチは計算コストが高い可能性や、生成された合成データの品質が実データと異なる可能性が考えられるが、要旨では言及されていない。また、外部ベースモデルの改良は、ベースモデルの種類に依存する可能性がある。

要旨で参照されている関連研究は明示されていないが、Semantic Scene Completionの分野では、SSCNet、JS3C-Net、MonoSceneなどの既存手法が挙げられる。また、離散拡散モデルとしては、D3PMやMultinomial Diffusionが関連する。次に読むべき論文としては、これらの基盤となる手法を扱った論文が適切である。