LiteMVS: 基盤モデル蒸留と専門家集約による効率的な多視点ステレオ

LiteMVSは、ロボティクスや拡張現実、具現化知能向けの軽量なmulti-view stereo (MVS) 深度推定モデルである。plane-sweepによる幾何学的推論と、monocular semanticおよびstructural priorsを統合する。具体的には、軽量なsegmentationモデルと大規模vision foundation modelsから得られる高レベルのmonocular知識をMVSフレームワークに効率的に注入する。cost volumeにsemantic descriptorsを追加し、Mixture-of-Experts (MoE) を用いてdepth hypothesesにわたる適応的な幾何学的集約を行う。また、vision foundation modelsから蒸留したgeometric priorsが、推論コストを増やさずにmonocular guidanceを強化する。これにより、静的シーンでの深度推定と3D再構成の品質を向上させ、後続の時間的モデリングや4D表現学習のための信頼できる幾何学的基盤を提供することを目指す。

既存のMVS手法は主に幾何学的対応に依存し、テクスチャレス領域や反復パターンで失敗することが多い。一方、monocular depthモデルは画像レベルの強いpriorを持つが、多視点の幾何学的制約が欠ける。LiteMVSは、これらのアプローチを統合し、semantic descriptorsとMoEによる適応的集約、さらにvision foundation modelsからの蒸留により、monocular priorsを効率的に注入する点が新しい。特に、推論コストを増やさずに高品質な深度予測を実現し、静的再構成だけでなく、時間的一貫性のある4D表現学習の基盤となる点が先行研究と比べて優れている。

手法の核は、MVSフレームワークへのmonocular知識の効率的な注入である。具体的には、1) 軽量なsegmentationモデルとvision foundation modelsからsemantic descriptorsを抽出し、cost volumeに追加する。2) Mixture-of-Experts (MoE) を導入し、depth hypothesesにわたる適応的な幾何学的集約を可能にする。3) vision foundation modelsからgeometric priorsを蒸留し、推論コストを増やさずにmonocular guidanceを強化する。これにより、静的シーンでの深度推定と3D再構成の品質を向上させる。

ScanNetv2と7-Scenesデータセットを用いて実験を行い、LiteMVSが高品質な深度予測と3D再構成を達成しつつ、競争力のある効率性を維持することを示した。具体的な評価指標や比較対象は要旨からは不明だが、深度推定と3D再構成の品質と効率性の両面で有効性を検証している。

要旨からは、LiteMVSの限界や議論点は明示されていない。ただし、軽量性と高品質のトレードオフや、蒸留による性能向上の限界、MoEの計算コストなどが潜在的な議論点として考えられるが、要旨には記載がないため不明。また、4D表現学習への応用が提案されているが、その具体的な検証は要旨には含まれていない。

要旨で参照されている関連研究として、既存のMVS手法（geometric correspondencesに基づくもの）、monocular depthモデル、lightweight segmentation models、large-scale vision foundation models、Mixture-of-Experts (MoE) を用いた手法、および4D表現学習に関する研究が挙げられる。具体的な論文名は不明だが、これらの分野の代表的な論文を読むことが推奨される。