VLA/空間推論2026/8/10arXiv:2608.10278

空間思考の連鎖：視覚言語モデルのためのモダリティ非依存の空間接地

Chain of Spatial Thoughts: Modality-Agnostic Spatial Grounding for Vision Language Models

追加の推論時モジュールを必要とせず、連続的な空間トークンを導入して視覚言語モデルの空間推論能力を向上させる軽量フレームワークを提案した。

詳しい要約

1. どんなもの？

本論文は、Vision Language Models (VLMs) に明示的な連続空間表現を追加する軽量でアーキテクチャ非依存のフレームワーク「Space Tokens」を提案する。シーン全体の3Dジオメトリとオブジェクト中心の空間属性を連続的な潜在トークンに蒸留し、これをchain-of-thought推論プロセスに直接組み込むことで、追加の推論時モジュールなしにVLMの空間推論能力を向上させる。学習された表現は明示的にデコード可能で、意味のある幾何学情報をエンコードしていることを検証でき、統一トークンインターフェースは追加モダリティに拡張可能である。

2. 先行研究と比べてどこがすごい？

従来の最先端手法は、推論時に追加の空間エンコーダやアーキテクチャ変更を必要とし、計算コストが増加する。Space Tokensは、追加の推論時モジュールを必要とせず、軽量でアーキテクチャ非依存なフレームワークを提供する点が優れている。また、学習された表現を明示的にデコードして解釈可能性を確保し、統一トークンインターフェースによりモダリティ拡張が容易である点も新しい。

3. 技術・手法の肝は？

手法の核心は、シーン全体の3Dジオメトリとオブジェクト中心の空間属性を連続的な潜在トークン（Space Tokens）に蒸留すること。これらのトークンはchain-of-thought推論プロセスに直接組み込まれ、VLMの空間推論を改善する。トークンは明示的にデコード可能で、意味のある幾何学情報をエンコードしていることを検証できる。統一トークンインターフェースにより、追加モダリティへの拡張が可能。

4. どうやって有効だと検証した？

VSI-Benchベンチマークで評価し、Qwen3-VL-8Bで4.3%、SenseNova-SI-1.3で1.3%の性能向上を達成。また、オブジェクトサイズ推定で79.2%、部屋サイズ推定で75.7%の最先端性能を達成した。

5. 議論はある？

要旨からは、提案手法の限界や潜在的な欠点についての議論は不明。ただし、連続空間トークンが効果的で解釈可能、計算効率の良いメカニズムであると結論付けている。

6. 次に読むべき論文は？

要旨で参照されている研究は明示されていないが、関連する分野として、VLMの空間推論、chain-of-thought推論、3Dシーン理解、オブジェクト中心表現などが挙げられる。具体的には、VSI-Benchベンチマークや、Qwen3-VL、SenseNova-SIなどのモデルに関連する論文が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hunter Schofield, Mohammed Elmahgiubi, Mohammad Mahdavian, Richard Shi, Jinjun Shan, Amir Rasouli, Dongfeng Bai

分類: cs.CV

原文アブストラクト

Spatial understanding is fundamental to embodied intelligence, underpinning applications such as robotic manipulation, embodied navigation, and autonomous driving. Although recent vision-language models (VLMs) have achieved impressive performance on spatial reasoning benchmarks, state-of-the-art approaches typically rely on additional spatial encoders or architectural modifications during inference, increasing computational cost. We introduce Space Tokens, a lightweight, architecture-agnostic framework that equips VLMs with explicit continuous spatial representations without requiring additional inference-time modules. By distilling scene-level 3D geometry and object-centric spatial attributes into continuous latent tokens, our method enables these modalities to be directly incorporated into a chain-of-thought reasoning process, thereby improving the VLM's spatial reasoning capabilities. At the same time, the learned representations can be explicitly decoded to verify that they encode meaningful geometric information, while the unified token interface remains extensible to additional modalities. Experiments on VSI-Bench improve Qwen3-VL-8B by 4.3% and SenseNova-SI-1.3 by 1.3%, while achieving state-of-the-art performance on object size (79.2%) and room size estimation (75.7%). These results demonstrate that continuous spatial tokens provide an effective, interpretable, and computationally efficient mechanism for integrating geometric reasoning into large vision-language models.

arXivで原文を読む →arXiv概要ページ

← 論文一覧