日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
空間知能ベンチマークarXiv:2611.02026

再構成による空間評価：大規模視覚言語モデルのクロスビュー空間知能を診断するベンチマーク

Reconstruction as Spatial Evaluation: Diagnosing Cross-View Spatial Intelligence in Large Vision-Language Models

シェア:XThreadsFacebookLINEはてブBluesky

複数視点の実画像から3D物体の向き付きバウンディングボックスを共通座標系で予測させるRECONSPATIALベンチマークを提案し、18のLVLMを評価して相対構造は得意だがメートル尺度の再構成が苦手という一貫したギャップを明らかにした。

詳しい要約

1. どんなもの？

- 大規模視覚言語モデル（LVLM）の空間知能を評価する新ベンチマーク RECONSPATIAL を提案 - 多視点3Dシーン再構成を中心課題とする - indoor, tabletop, outdoor の実環境多視点画像を使用 - タスク設定 - 実多視点画像と対象物体クエリを入力 - 共有された camera-anchored metric 座標系で oriented 3D bounding boxes を予測 - 評価軸 - Structure：相対レイアウトの整合性 - Metric：物理スケールと camera-anchored 配置 - 付随評価 - 9つの atomic spatial QA タスク（Geometric Perception と Spatial Relations に分類） - offline navigation による path planning 評価

2. 先行研究と比べてどこがすごい？

- 従来の静的ベンチマークは相対方向や距離など孤立した空間判断を評価 - 対話型 embodied 評価は知覚に探索・計画・制御・シミュレータ固有実行を混在させる - RECONSPATIAL は多視点3D再構成に焦点を絞り、知覚と幾何推論を分離して評価 - Structure と Metric の二軸で診断 - 9つの atomic spatial QA と offline navigation を組み合わせ - 18の frontier LVLM を評価し、相対構造と metric 再構成の間に一貫したギャップを発見 - GPT-6-Astra でも Structure 81.4% に対し Metric 58.7%

3. 技術・手法の肝は？

- 多視点画像から共有 camera-anchored metric 座標系で oriented 3D bounding boxes を予測させる再構成タスクを設計 - 評価を二軸に分解 - Structure：相対レイアウトの整合性 - Metric：物理スケールとカメラ基準配置 - 9つの atomic spatial QA を Geometric Perception と Spatial Relations に分類し、再構成品質との関連を診断 - offline navigation で path planning まで評価を拡張 - 3D map injection 実験により scene construction と path planning を分離 - spatial fine-tuning の転移効果も検証

4. どうやって有効だと検証した？

- 18の frontier LVLM を RECONSPATIAL で評価 - GPT-6-Astra が Structure 81.4%、Metric 58.7% を記録 - 診断分析で atomic spatial capabilities と再構成品質を関連付け - 関係整合性だけでは metric 精度を保証しないことを示す - 3D map injection 実験で幾何誤差が navigation 成功を制限する仕組みを分離 - spatial fine-tuning が空間ベンチマークと一般 vision-language ベンチマークの両方に広く転移することを確認

5. 議論はある？

- 相対的な scene structure と metric reconstruction の間に一貫したギャップが存在 - 関係整合性のみでは metric 精度を担保できない - 幾何誤差が navigation 成功を制限する可能性 - 3D map injection により scene construction と path planning の寄与を分離できる - spatial fine-tuning の広範な転移は空間能力の改善可能性を示唆 - 具体的な限界や失敗事例の詳細は要旨からは不明

6. 次に読むべき論文は？

- GPT-6-Astra など評価対象の frontier LVLM の原論文 - 静的空間ベンチマーク（相対方向・距離評価）の代表的研究 - embodied 評価・navigation ベンチマーク（探索・計画・制御を含むもの） - 3D scene reconstruction や oriented 3D bounding box 予測の関連研究 - spatial fine-tuning や vision-language 転移学習の関連研究 - 要旨で明示的に参照されている個別論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junfei Wu, Qiuyue Wang, Xuhong Huang, Qihang Peng, Mingsheng Li, Jian Guan, Qiang Liu, Shu Wu, Liang Wang, Shuai Bai, Tieniu Tan

分類: cs.CV, cs.AI

原文アブストラクト

The spatial intelligence of large vision-language models (LVLMs) requires the ability to combine local visual observations into a geometrically consistent representation of the physical world. Many static benchmarks assess isolated spatial judgments, such as relative direction or distance, while interactive embodied evaluations combine perception with exploration, planning, control, and simulator-specific execution. To bridge this gap, we introduce RECONSPATIAL, a benchmark centered on multi-view 3D scene reconstruction across indoor, tabletop, and outdoor environments. Given real multi-view images and target-object queries, LVLMs are required to jointly predict oriented 3D bounding boxes in a shared, camera-anchored metric coordinate frame. Reconstructions are evaluated along two complementary axes: Structure for relative layout and Metric for physical scale and camera-anchored placement. Nine atomic spatial QA tasks, grouped into Geometric Perception and Spatial Relations, probe spatial capabilities involved in joint reconstruction. Offline navigation extends evaluation to path planning. Evaluation of 18 frontier LVLMs reveals a consistent gap between relative scene structure and metric reconstruction; even GPT-6-Astra scores 81.4% on Structure but only 58.7% on Metric. Tracing this gap, diagnostic analyses link atomic spatial capabilities to reconstruction quality and show that relational consistency alone does not ensure metric accuracy. Experiments with 3D map injection further separate scene construction from path planning, revealing how these geometric errors limit navigation success. Finally, spatial fine-tuning yields broad transfer across both spatial and general vision-language benchmarks.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI