視覚言語モデルの空間推論のための多視点関係蒸留

本論文は、Vision-Language Models (VLMs) の空間推論能力を向上させるための新しい知識蒸留手法である Multi-View Relational Distillation (MVRD) を提案している。MVRD は、幾何学的に接地された視覚モデル（teacher）から、複数視点のパッチ間コサイン類似度（リレーション）を蒸留することで、VLM の視覚表現をより幾何学的にしつつ、事前学習済みの視覚-言語アラインメントを維持する。これにより、物体認識や言語意味理解の能力を損なわずに、空間推論を強化する。

先行研究では、空間推論のために VLM を空間 QA でファインチューニングする手法（spurious な視覚表現を助長する可能性）や、大規模な幾何学接地モデルの特徴を融合する手法（推論時のモデルサイズが大幅に増加）があった。知識蒸留を用いる場合も、teacher の特徴を直接マッチングすると視覚-言語アラインメントが崩れる問題があった。MVRD は、特徴そのものではなく、パッチ間の関係性（類似度）を蒸留することで、学生表現を未決定のままにし、事前学習済みの視覚-言語空間に近く保つ。これにより、追加パラメータを大幅に増やさず、低レイテンシで feature fusion に迫る性能を達成している点が優れている。

MVRD の核心は、複数視点からのパッチワイズなコサイン類似度を蒸留することである。具体的には、teacher モデル（幾何学接地モデル）から得られる複数視点の特徴マップ間の関係（類似度行列）を計算し、それを student モデル（VLM）の視覚エンコーダの出力に適用する。これにより、幾何学的対応関係をエンコードするが、学生の表現は未決定のままなので、事前学習済みの視覚-言語アラインメントを維持しやすくなる。

代表的な複数の VLM に対して、MVRD を適用し、視覚空間推論タスクで評価した。比較対象は、教師ありファインチューニング、特徴蒸留、特徴融合手法である。その結果、MVRD は空間推論性能で教師ありファインチューニングや特徴蒸留を上回り、特徴融合に近い性能を、はるかに少ない追加パラメータと低レイテンシで達成した。さらに、視覚表現がより幾何学的になり、言語アラインメントが維持されることを示し、3D シーン理解タスク（物体接地、密集キャプショニング、質問応答）への汎化も確認した。

要旨からは、MVRD の限界や潜在的な欠点についての議論は不明である。ただし、提案手法が teacher の特徴ではなく関係性を蒸留するため、幾何学的情報が十分に伝わるかどうかや、複数視点の選択方法、計算コストなどに関する議論が考えられるが、要旨には記載がない。

要旨で参照されている関連研究として、幾何学接地された視覚モデル（geometry-grounded vision models）や、VLM の空間推論のためのファインチューニング、特徴融合、知識蒸留に関する論文が挙げられる。具体的には、要旨に明示されていないが、同分野の定番として、CLIP などの VLM、DINO などの自己教師あり視覚モデル、または 3D シーン理解に関する研究（例：Object Grounding, Dense Captioning）が関連する。