日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ベンチマークarXiv:2611.12175

GeoMind:ロボット操作における空間理解のベンチマーク

GeoMind: A Benchmark for Spatial Understanding in Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

卓上操作を通じて空間推論と空間記憶を評価する54タスクのベンチマークGeoMindを提案し、既存エージェントが空間変化後の追跡や制約の行動変換を苦手とすることを示した。

詳しい要約

1. どんなもの?

- GeoMindはロボットマニピュレーションにおける空間理解を体系的に評価するベンチマーク - tabletop manipulationを対象に、spatial reasoningとspatial memoryの2軸で構成 - 54個の評価タスクバリアントを含む - タスクインスタンスの生成・アノテーションを自動化するスケーラブルなパイプラインを備える - 検証済みターゲットと実行可能なinteractionを付与 - ベンチマークはGitHubで公開

2. 先行研究と比べてどこがすごい?

- 既存のembodied benchmarkは空間推論を迂回する強いvisual cueを導入しがちだった点を指摘 - 既存benchmarkは静的scene中心でspatial memory評価が乏しい点を問題視 - GeoMindはvisual cueへの依存を排し、構造化されたspatial understandingを直接評価 - spatial reasoningとspatial memoryの両方を体系的にカバーする点が新規 - 自動生成・アノテーションpipelineによりスケーラブルな評価を実現

3. 技術・手法の肝は?

- tabletop manipulation環境で54のタスクバリアントを設計 - spatial reasoning(複雑なlayoutでのtarget同定)とspatial memory(interactionで変化するsceneへの適応)に分類 - タスクインスタンスの生成とアノテーションを自動化するscalable pipelineを構築 - 検証済みtargetと実行可能なinteractionを自動付与 - 多様なembodied agentsを対象に評価可能な枠組みを提供

4. どうやって有効だと検証した?

- 多様なembodied agentsに対して広範な評価を実施 - エージェントらがspatial understandingで一貫した弱点を示すことを確認 - 空間変化後のidentity追跡が困難であることを観察 - 関係的・幾何学的制約を実行可能なactionへ変換するのが苦手と判明 - これらの知見によりbenchmarkの有効性を示唆

5. 議論はある?

- 既存agentsがspatial reasoningとspatial memoryの両面で弱いことを議論 - 空間変化後のidentity trackingの失敗を指摘 - relational/geometric constraintsのaction変換の困難さを議論 - 具体的な議論の詳細や限界については要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている個別研究は明示されていない - 同分野の定番としてembodied benchmark(例: RLBench, ALFRED, CALVIN等)やspatial reasoning関連のvision-language-action研究を次に読む候補として挙げる - 具体的な参照論文は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jinghe Wang, Xinrui Cao, Duo Wu, Chenghao Gu, Yong Zhong, Linjia Kang, Tianyi Xiong, Zhi Wang

分類: cs.RO, cs.AI

原文アブストラクト

Robotic manipulation has advanced rapidly in mapping visual observations and language instructions to actions. However, reliable manipulation in open-world environments requires robust spatial understanding: the ability to identify targets in complex layouts (spatial reasoning) and adapt to scenes that continuously evolve through interaction (spatial memory). Yet existing embodied benchmarks fall short in evaluating spatial understanding: they often introduce strong visual cues that bypass spatial reasoning, and focus on static scenes that offer little insight into an agent's capacity for spatial memory. To address this gap, we introduce GeoMind, a systematic benchmark for structured spatial understanding through tabletop manipulation. GeoMind comprises 54 evaluated task variants organized around spatial reasoning and spatial memory. It also incorporates a scalable pipeline that automates the generation and annotation of task instances with verified targets and executable interactions. Extensive evaluations across diverse embodied agents reveal their consistent weaknesses in spatial understanding. Our findings highlight that these agents struggle to track identities after spatial changes and convert relational or geometric constraints into executable actions. We release the GeoMind benchmark at https://github.com/Notfound-JH/GEOMIND-benchmark.git.

関連論文

  1. 1パナソニックHDら、ロボット操作AI「T-Rex」を共同開発 12タスクで平均成功率65%研究・技術
  2. 2Hugging Face、ロボット学習基盤「LeRobot v0.7.0」を公開 対話操作と大規模データ学習に対応新製品・発表
  3. 3NVIDIA、Vera CPUのエージェント処理性能を公表 x86比で速度・電力効率を比較半導体・GPU
  4. 4Agility、SPAC合併でナスダック上場資金調達
  5. 5智元、清華大学などとCELを発表 96台のロボットで群体学習を検証研究・技術
PR本紙発行元 EmplifAI