空間推論ベンチマーク2026/10/9arXiv:2610.12881

空間ギャップに注意：地理空間推論と制約付き空間編集のベンチマーク

Mind the Spatial Gap: A Benchmark for Geospatial Reasoning and Constrained Spatial Editing

実世界の都市データを用いて、MLLMの空間関係理解から制約付き空間編集までの能力を評価するGeoSpatialBenchを提案し、構造化GeoJSONが地図画像より優れる一方で定量的関係や編集に課題があることを示した。

詳しい要約

1. どんなもの？

本論文は、MLLMの空間推論能力を評価するベンチマークGeoSpatialBenchを提案する。 - 空間関係理解、幾何推論、制約付き空間編集の段階的評価を目的とする。 - 実世界の都市データを6都市から収集し、28のtopological, directional, metric, ordering関係をカバー。 - 構造化GeoJSONと地図画像の2モダリティで評価。 - GIS操作で検証されたground-truthと制約を提供。

2. 先行研究と比べてどこがすごい？

既存のMLLM空間推論評価は、小規模・合成シーンでの静的QAが主流。 - 本研究は、実世界都市データを用い、空間編集まで評価範囲を拡張。 - 28の関係分類とGIS検証済み制約を導入し、より厳密な診断を可能にする。 - モダリティ間の比較（GeoJSON vs 地図画像）を体系的に実施。

3. 技術・手法の肝は？

GeoSpatialBenchの構築と評価手法が肝。 - 6都市の実世界都市データからGeoJSONと地図画像を生成。 - 28の空間関係（topological, directional, metric, ordering）を分類。 - GIS操作によりground-truthと制約を検証。 - 最先端MLLMを対象に、QAと制約付き編集タスクで評価。

4. どうやって有効だと検証した？

最先端MLLMを用いた実証評価により有効性を検証。 - GeoJSONが地図画像より一貫して高性能。 - マルチモーダル組み合わせはGeoJSON単体を上回る信頼できる利得なし。 - 定性的topological/orderingはある程度可能だが、定量的metric関係で性能低下。 - 編集性能はordering関係でQAより低下し、失敗編集の多くが少なくとも1つの空間制約に違反。

5. 議論はある？

空間関係の受動的認識と能動的幾何操作の間にギャップがあると議論。 - 構造化データの優位性とマルチモーダルの限界を示唆。 - 定量的関係や編集タスクの困難さを指摘。 - 物理的に接地したworld modelやembodied spatial AIへの基礎的知見を提供。 - ただし、具体的な改善手法やモデルアーキテクチャの提案は要旨からは不明。

6. 次に読むべき論文は？

要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、MLLMの空間推論評価（例：SpatialEval, VSR, 3D-LLM関連）や、embodied AI向けベンチマーク（例：ALFRED, AI2-THOR）が次に読むべき候補。 - また、GIS操作やGeoJSONを用いた空間推論研究も関連。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zheng Ren, Yanning Wang, Ziheng Huang, Fei Huang, Shiqi Wang, Ziqian Ye, Yang Yue

分類: cs.AI

原文アブストラクト

Understanding and manipulating spatial relations is fundamental to AI systems that reason about physical environments and construct grounded world models. However, existing evaluations of multimodal large language models (MLLMs) for spatial reasoning rely predominantly on static question-answering (QA) over small-scale or synthetic scenes, rarely probing whether models can modify spatial configurations while satisfying explicit geometric constraints. We introduce GeoSpatialBench, a benchmark designed to evaluate an escalating progression of spatial cognition, ranging from spatial relation understanding and geometric reasoning to constrained spatial editing. Grounded in real-world urban data across six geographically diverse cities, GeoSpatialBench evaluates a comprehensive taxonomy of 28 topological, directional, metric, and ordering relations across structured GeoJSON and map image modalities, with ground-truth references and constraints verified via GIS operations. Our empirical evaluation across frontier MLLMs uncovers a stark spatial gap: structured GeoJSON consistently outperforms map images, with multimodal combinations offering no reliable gain over GeoJSON alone, and while models show reasonable competence on qualitative topological and ordering, performance drops on quantitative metric relations. Crucially, editing performance on ordering relations declines relative to QA, and most failed edits violate at least one specified spatial constraint. These results highlight a gap between passively recognizing spatial relations and actively manipulating geometric configurations. GeoSpatialBench provides an open, rigorous diagnostic testbed to benchmark these spatial limitations, laying essential empirical groundwork for physically grounded world models and embodied spatial AI.

arXivで原文を読む →arXiv概要ページ

← 論文一覧