SenseFuse: 画像と形状エンコーダをラベルなしで融合するオープンボキャブラリ3Dインスタンスセグメンテーション

- 提案: SenseFuse は open-vocabulary 3D instance segmentation のための label-free fusion 手法。 - 対象: 既存 pipeline の mask-labeling 段階のみを改良。 - 特徴: 2D image encoder と 3D shape encoder を融合し、ラベルなしで scene-level の fusion weight を適応的に選択。 - 目的: robotics の spatial reasoning や object manipulation の基盤となる open-vocabulary な scene understanding の向上。

- 従来: closed-vocabulary 3D instance segmentation は 3D shape 情報を活用するが、open-vocabulary の最先端は 2D image features や image-distilled representations に主に限定。 - 本手法: 2D image encoder と 3D shape encoder の失敗パターンが大きく異なり、同じ誤りを繰り返しにくい点を利用。 - 対照: 2D image encoder 同士は同じ誤りを頻繁に繰り返す。 - 利点: この相補性により、2D と 3D のペアが本質的に補完的であることを示し、label-free で融合を実現。

- 核: 既存 pipeline の mask-labeling 段階のみを refine。 - 融合: 2D image encoder と 3D shape encoder を組み合わせる。 - 適応機構: scene-level の fusion weight を選択し、label-free sensitivity measure を最大化。 - 推定: 単一 scene の unlabeled proposals からミリ秒単位で直接推定。 - 学習不要: label-free で動作。

- データセット: ScanNet200, Replica, ScanNet++ で評価。 - 結果: すべての評価設定で labeling accuracy が向上。 - 定量: oracle weight で得られる gain の 67-100%（中央値 93%）を回復。 - 追加: 報告された 22 設定中 21 設定で instance AP が向上。 - コード: https://github.com/hanes1207/SenseFuse で公開。

- 要旨からは不明。 - 明示的な limitation や議論の記述はない。

- 要旨で参照/比較されている研究: closed-vocabulary 3D instance segmentation、open-vocabulary 3D instance segmentation の 2D image features や image-distilled representations を用いる手法。 - 関連手法: ScanNet200, Replica, ScanNet++ を用いた open-vocabulary 3D instance segmentation の既存 pipeline。 - 具体的な論文名は要旨に記載なし。