日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

空間記憶ベンチマークarXiv:2611.21485

廊下で迷子:再訪をまたぐ持続的な空間記憶のベンチマーク

Lost in the Hallway: Benchmarking Persistent Spatial Memory Across Revisits

シェア:XThreadsFacebookLINEはてブBluesky

同じ場所を再訪した際の空間記憶を評価するReSpaceBenchを提案し、32モデルを評価した結果、最良でも人間の約半分の精度で、部屋の対応付けや証拠の見落としが主な失敗要因だと示した。

詳しい要約

1. どんなもの?

- 本論文は、embodied agents の persistent spatial understanding を評価する benchmark「ReSpaceBench」を提案する。 - 590 の synthetic および real-home scenes にわたり、3,244 問・9 タスクで構成。 - タスクは room association、persistent state tracking、downstream reasoning を含む。 - 物理的な room entry で visit を定義する controlled walkthroughs を採用。 - same-type room distractors や cross-session object changes を意図的に含む。

2. 先行研究と比べてどこがすごい?

- 既存評価では、分離した訪問間での physical place identity が暗黙のまま扱われてきたと指摘。 - 本 benchmark は revisit 時の place identity を明示的に評価対象とする点が特徴。 - same-type room distractors と cross-session object changes を制御的に導入。 - 32 models と 3 agentic video-understanding frameworks を評価し、限界を定量的に示した。

3. 技術・手法の肝は?

- controlled walkthroughs により、物理的な room entry を基準に visit を定義。 - 同種の部屋を distractor として配置し、viewpoint 変化下での再訪認識を試す。 - cross-session の物体変化を含め、memory 更新の必要性を評価。 - 9 タスクを room association、persistent state tracking、downstream reasoning に整理。 - 別途 RS-30K を用意し、benchmark と template・scene・route・video の重複なしで fine-tuning を実施。

4. どうやって有効だと検証した?

- 32 models と 3 agentic video-understanding frameworks を ReSpaceBench 上で評価。 - 最強の zero-shot model は overall 50.5%、450 問 subset で 52.2%、human annotators は 90.1%。 - agentic frameworks は同一 base model の direct inference を overall で上回らなかった。 - execution traces 分析で evidence omissions と incorrect cross-visit room associations を主要 failure mode として特定。 - Qwen3-VL-8B を RS-30K で fine-tuning し、35.5% から 60.4% へ改善、real-life scenes にも効果が及ぶと報告。

5. 議論はある?

- 反復的な evidence seeking だけでは consistent spatial memory を保証しないと示唆。 - familiar room の認識と正しい visited room の同定の間に gap があると分析。 - annotation-guided sampling により、intervening visits と transitions の保持が重要と指摘。 - agentic frameworks が direct inference を上回らない理由として evidence omissions や誤った cross-visit association を挙げる。 - その他の限界や議論は要旨からは不明。

6. 次に読むべき論文は?

- 本論文で比較対象となった agentic video-understanding frameworks の各手法。 - fine-tuning に用いられた Qwen3-VL-8B および RS-30K。 - 関連する定番として embodied navigation や video question answering の persistent memory 研究。 - 具体的な参照論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Henry Zheng, Weibo Gong, Yang Yue, Rui Huang, Yang Zhang, Gao Huang

分類: cs.CV

原文アブストラクト

Persistent spatial understanding is essential for embodied agents to operate reliably in environments they repeatedly encounter. It requires recognizing revisited places despite viewpoint changes, distinguishing them from similar-looking rooms, and updating memories as environments change. Yet existing evaluations often leave physical place identity across separated visits implicit. We introduce ReSpaceBench, a benchmark comprising 3,244 questions across 590 synthetic and real-home scenes, organized into 9 tasks spanning room association, persistent state tracking, and downstream reasoning. Controlled walkthroughs define visits by physical room entry and deliberately include same-type room distractors and cross-session object changes. Our evaluation of 32 models and 3 agentic video-understanding frameworks reveals substantial limitations: the strongest evaluated zero-shot model achieves 50.5% overall accuracy and 52.2% on a 450-question subset, compared with 90.1% for human annotators. The evaluated agentic frameworks offer no overall improvement over direct inference with the same base model. Analysis of agent execution traces reveals evidence omissions and incorrect cross-visit room associations as major failure modes, suggesting that iterative evidence seeking alone does not ensure consistent spatial memory. Further analyses expose a gap between recognizing familiar rooms and identifying the correct visited room, while annotation-guided sampling highlights the importance of preserving intervening visits and transitions. We also provide RS-30K, a separate training dataset from synthetic sources with no template, scene, route, or video overlap with the benchmark. Fine-tuning Qwen3-VL-8B raises overall accuracy from 35.5% to 60.4%, with the largest gains in association and improvements extending to real-life scenes.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI