SeqAlign3DVG: シーケンス整合ベンチマークとボクセル推論フレームワークによる3D視覚的グラウンディング

SeqAlign3DVGは、時間順序と厳密な観測整合性を持つ画像ベースの3D Visual Groundingのための新しいベンチマークと、それを解くためのvoxelベースの推論フレームワークを提案する研究。ベンチマークは9,622の単一視点サンプルと14,493のシーケンスサンプルからなり、人間が検証した表現が提供されたRGB観測（単一フレームまたは順序付けられた観測シーケンス）に厳密に基づいている。また、提案手法はRelevance-Ordered Voxel Memory (ROVM)とProgressive Language-Voxel Fusion (PLVF)からなる統一パイプラインで、複雑な関係や外観手がかりで定義されたターゲットの位置特定を改善する。

既存のベンチマークはテキストと観測の対応が緩く、時間的順序を無視しているのに対し、SeqAlign3DVGは時間順序と厳密な観測整合性を保証する点が新しい。また、従来のorder-agnostic viewsやglobal point cloudsを用いる手法とは異なり、提供されたRGB観測に厳密に基づく表現を用いる。提案フレームワークは、depth-freeプロトコル下で最先端の性能を達成し、複雑な関係や外観手がかりで定義されたターゲットの位置特定を大幅に改善する。

手法の肝は、voxelベースの統一パイプラインと、ROVMとPLVFの2つのモジュール。ROVMは、保守的なメモリを用いて多視点の証拠を動的にランク付けし集約することで、ノイズの多い観測を軽減する。PLVFは、粗密の空間言語推論を行い、正確な曖昧性解消を実現する。これにより、時間順序と観測整合性を考慮した推論が可能になる。

提案手法をSeqAlign3DVGベンチマークで評価し、depth-freeプロトコル下でstate-of-the-artの性能を達成したことを示している。特に、複雑な関係や外観手がかりで定義されたターゲットの位置特定精度が大幅に向上した。具体的な数値や比較対象は要旨からは不明。

要旨からは、提案ベンチマークの表現が人間により検証されている点や、時間順序と観測整合性の重要性が議論されている。また、提案手法がノイズの多い観測を軽減するための保守的なメモリ設計や、粗密の推論による曖昧性解消の有効性が示唆されている。しかし、限界や将来の課題については要旨に明記されていない。

要旨で参照されている先行研究は明示されていないが、3D Visual Groundingの分野では、既存のベンチマークや手法（例：ScanRefer、ReferIt3D、3DVG-Transformerなど）が関連する。また、voxelベースの手法や多視点融合に関する研究も関連する。具体的な論文名は要旨にないため、同分野の定番を一般名で挙げる。