日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLMarXiv:2609.34630

見えなくなった後も空間を推論する：視野外時空間推論のためのVLMベンチマーク

Long Time No See: Benchmarking VLMs for Out-of-Sight Spatiotemporal Reasoning in Egocentric Videos

シェア:XThreadsFacebookLINEはてブBluesky

動画内で視界から消えた物体の位置や状態を推論する能力を評価する初のVQAベンチマークBeyond3Dを構築し、9種類のVLMを評価した。

詳しい要約

1. どんなもの？

- 視界外の物体の時空間推論を評価する初のVQAベンチマークBeyond3Dを提案。 - 動的なegocentric videoを対象に、移動後に視界外となった物体に関する質問を生成。 - HD-EPICアノテーションを基に、3D位置・カメラポーズ・シーン形状から可視性トラックを構築。 - 9,000問、8タイプ、135動画、9参加者から成る。 - 推論チェーンはvisual grounding, temporal grounding, scene localization, 3D spatial perceptionの4段階。

2. 先行研究と比べてどこがすごい？

- 従来のVQAベンチマークは視界内の物体や静的なシーンを対象とし、視界外の物体の状態更新を評価していない。 - Beyond3Dは初めて「out-of-sight spatiotemporal reasoning」を分離して評価する。 - 動的egocentric videoで物体が移動し視界外になった後の推論を問う点が新しい。 - 可視性トラックを3D情報から構築し、occlusionやout-of-viewを区別する。

3. 技術・手法の肝は？

- HD-EPICのアノテーションを利用し、各動的物体の可視性トラックを生成。 - 3D位置、カメラポーズ、シーン形状から、各時点で物体がvisible, occluded, out of viewのどれかを判定。 - 質問はvisual grounding, temporal grounding, scene localization, 3D spatial perceptionの4段階の推論チェーンとして構成。 - 8タイプの質問を9,000問作成。

4. どうやって有効だと検証した？

- 9つのgeneral-purposeおよびspatially specialized VLMsをベンチマーク。 - 最高性能モデルは42.2%で、chance level 29.7%およびtext-onlyベースライン31.9%を上回る。 - 最大の失敗は「物体が最後に見えた時点」の回復であり、視界外追跡が未解決であることを示す。

5. 議論はある？

- 現在のVLMsは視界外の物体移動追跡を十分に解決できていない。 - 特にtemporal groundingの失敗が大きい。 - ベンチマークの詳細な議論や限界については要旨からは不明。

6. 次に読むべき論文は？

- HD-EPIC - その他のegocentric video VQAベンチマーク（例：Ego4D, Epic-Kitchens） - 空間推論に特化したVLM（例：SpatialVLM, 3D-LLM）

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Fangzhou Ma, Ivo Alexander Ban, Eren Homburg, Gabriele Goletto, Rémi Pautrat, Mahdi Rad, Chiara Plizzari, Marc Pollefeys

分類: cs.CV

原文アブストラクト

Real-world AI systems must reason about objects that are no longer visible: an AR assistant guiding a user back to an object used earlier, a household robot retrieving an item someone put away. This requires not just recalling where an object was last seen, but updating its state when it is moved and retaining that update once it leaves view. We refer to this as out-of-sight spatiotemporal reasoning. We introduce Beyond3D, the first VQA benchmark to isolate this ability in dynamic egocentric video: every query targets an object that has been relocated and has since left the field of view. We create our questions from HD-EPIC annotations, building a visibility track for each dynamic object from its 3D position, the camera pose, and the scene geometry to understand at each moment whether it is visible, occluded, or out of view. Beyond3D comprises 9,000 questions in eight types over 135 videos from nine participants, organized as one reasoning chain: visual grounding (is the target observable now), temporal grounding (when it was last visible and last placed), scene localization (which fixture anchors that location), and 3D spatial perception (where it lies relative to the current viewpoint or another object in the scene). We benchmark nine general-purpose and spatially specialized VLMs. The best model reaches 42.2% against 29.7% chance and text-only baselines reaching 31.9%, with the largest failures in recovering when an object was last visible, showing that tracking object movement out of sight remains far from solved for current VLMs.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI