両耳音響による発音インスタンスの曖昧性解消を用いた音声視覚セグメンテーション

- 音声に対応する物体領域を予測する Audio-Visual Segmentation (AVS) において、同クラスの候補が複数存在する場合に「どれが音を出しているか」を特定する課題を扱う研究。 - 両耳音声 (binaural audio) の interaural differences が音源方向情報を符号化する点に着目し、空間制約として利用する。 - 提案手法 BiSID-AVS は、カテゴリレベルの候補応答を段階的に絞り込み、真に発音している instance の mask を出力する。

- 既存 AVS は音関連領域やカテゴリ mask を予測するが、同クラスの複数候補が共存すると sounding instance の特定に失敗しやすい。 - 近年の audio-visual instance segmentation は instance レベル予測を行うが、motion と cross-frame association に大きく依存し、観測が疎な場合や動きが目立たない場合に不安定になりうる。 - 本研究は binaural audio の interaural differences を空間制約として導入し、motion に依存せず同クラス候補間の曖昧性を解消する点が新しい。

- BiSID-AVS は 3 段階で構成される。 - まず audio prompting によりカテゴリ整合な候補領域を grounding する。 - 次に binaural cues を画像平面上の spatial response map に投影する。 - 最後に feature レベルと decoder レベルの dual-level spatial conditioning により真の sounding instance を絞り込む。 - カテゴリレベルの応答を instance レベルの mask へ段階的に精緻化する設計が肝。

- binaurally extended な AVS-Synthetic benchmark と、ロボティック屋内知覚向けの Habitat-AVS dataset で実験。 - 複数候補を含む subset において instance-level mIoU をそれぞれ 35.19、41.21 percentage points 改善。 - 発音していない同クラス領域への false activation も大幅に低減したと報告。

- 要旨からは不明（binaural audio の取得前提や、実環境での両耳音声の利用可能性に関する議論は要旨に記載なし）。 - 同クラス複数候補という設定での有効性は示されるが、他条件での限界は要旨からは不明。

- 比較対象として言及される audio-visual instance segmentation 系の手法（motion と cross-frame association を用いるもの）。 - 評価に用いられた AVS-Synthetic benchmark および Habitat-AVS dataset の関連研究。 - 基盤となる AVS の定番手法（audio-visual segmentation の一般的な手法）。