日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
ベンチマーク/3D推論arXiv:2610.38405

SpaceAct:閉ループ行動と能動的知覚による3D時空間推論ベンチマーク

SpaceAct: Benchmarking 3D Spatial and Temporal Reasoning via Closed-Loop Action and Active Perception

シェア:XThreadsFacebookLINEはてブBluesky

遮蔽された視点からの3D復元や物理予測を含む閉ループ行動を評価する対話型ベンチマークSpaceActを提案し、10種のMLLMの時空間推論能力を診断した。

詳しい要約

1. どんなもの?

- 3D空間で問題を解くMLLMsを評価するinteractive benchmark「SpaceAct」とagent framework「SAPA (Spatiotemporal Active-Probing Agent)」を提案 - 静的な画像VQAや記号planningではなく、closed-loop physical actionとactive perceptionを通じた3D spatiotemporal reasoningを評価 - interlocking bricksとmechanical puzzles上に構築され、6カテゴリ36 task familiesにわたる108 verified instancesを含む - privileged coordinatesを与えず、+plan, +state, no-camera, blind, L7 leversなどのdiagnostic modesを備える - brick-bridgingやaperture-threadingでcamera回転によるocclusion解消、in-scene rulersの読み取り、6-Do…

2. 先行研究と比べてどこがすごい?

- 先行研究は静的画像上のpassive VQAやsymbolic planningを対象とし、実行やprivileged coordinatesを前提としてcollision・statics・timingを無視していた - SpaceActはclosed-loop physical actionとactive perceptionを評価に組み込み、実行を伴う3D spatiotemporal reasoningを直接テストする点が新しい - privileged coordinatesを排除し、occlusion下の2D viewsからの3D geometry再構成やphysical dynamicsの予測を要求 - swept-collisionやstatics checks、deliberation中のtime freeze、five strobe framesなど物理的制約を評価に導入 - 10 frontier MLLMsの評価により、valid planがあっても3D visual groundingとaction refinementがbottleneckであることを示し…

3. 技術・手法の肝は?

- SAPA (Spatiotemporal Active-Probing Agent) frameworkにより、agentがcameraを回転させてocclusionを解消し、in-scene rulersを読み、6-DoF posesを出力する - 出力actionはswept-collisionとstatics checksで検証され、split-screen rollback feedbackを通じてself-correctする - dynamic tasksではdeliberation中にtimeをfreezeし、five strobe framesを提供することで時空間推論を支援 - diagnostic modesとして+plan(reference plan付与)、+state(exact 3D state付与)、no-camera、blind、L7 leversを用意し失敗要因を切り分け - interlocking bricksとmechanical puzzlesを基盤とし、36 task families・6カテゴリ・108 verified instance…

4. どうやって有効だと検証した?

- 10 frontier MLLMsを44 hardest instancesで評価し、scoresは4.8–79.1の範囲に分布 - 7モデルは6-DoF tasksのうち最大27.3%しか解けないことを確認 - 上位3モデルでは+planがgapの44%を埋めるがcollisionsは5.2 per episode残り、+stateは90%を埋めcollisionsを0.5に削減 - 別の4モデルでは+planがmean scoreを10.9から35.3へ、+stateが81.8へ向上 - failuresの46%がcollisionまたはobservation loopsであることを分析

5. 議論はある?

- valid planがあってもMLLMsは3D visual groundingとaction refinementでbottleneckを抱えることを示唆 - +planだけではcollisionが残り、exact 3D stateの付与が大幅改善につながる点から明示的な3D groundingの重要性が議論される - active multi-view explorationとexplicit 3D groundingのtestbedとしての位置づけを提示 - 具体的なlimitationsや今後の課題の詳細は要旨からは不明

6. 次に読むべき論文は?

- SAPA (Spatiotemporal Active-Probing Agent) frameworkの詳細 - passive VQAやsymbolic planningを用いた先行3D reasoning benchmarks(個別名は要旨からは不明) - active multi-view explorationやexplicit 3D groundingに関する関連研究(個別名は要旨からは不明) - 6-DoF pose estimationやcollision-aware action refinementの関連手法(個別名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chenglong Shi, Zekai Yuan, Yue Song, Jon Pu, Will Wu

分類: cs.RO, cs.AI

原文アブストラクト

To solve problems in 3D space rather than merely describe images, multimodal large language models (MLLMs) need 3D spatiotemporal reasoning: reconstructing 3D geometry from occluded 2D views, anticipating physical dynamics, and executing precise, closed-loop actions. Prior studies test passive VQA on static images or symbolic planning, requiring no execution or supplying privileged coordinates while ignoring collision, statics, and timing. We introduce SpaceAct, an interactive benchmark evaluating 3D spatiotemporal reasoning via closed-loop physical action and active perception, with SAPA, a Spatiotemporal Active-Probing Agent framework. Built on interlocking bricks and mechanical puzzles, it has 108 verified instances across 36 task families in six categories, without privileged coordinates, and diagnostic modes (+plan, +state, no-camera, blind, L7 levers). In brick-bridging or aperture-threading, models rotate the camera to resolve occlusion, read in-scene rulers, output 6-DoF poses under swept-collision and statics checks, and self-correct via split-screen rollback feedback (dynamic tasks freeze time during deliberation and give five strobe frames). Across 10 frontier MLLMs on the 44 hardest instances, scores span 4.8-79.1 (seven solve at most 27.3% of 6-DoF tasks); for the top three, a reference plan (+plan) closes 44% of the gap while leaving collisions at 5.2 per episode, whereas adding exact 3D state (+state) closes 90% and cuts collisions to 0.5; for four others, +plan lifts the mean score from 10.9 to 35.3 and +state to 81.8; and 46% of failures are collision or observation loops. SpaceAct and SAPA advance evaluation to closed-loop physical interaction, showing that even with a valid plan, MLLMs remain bottlenecked by 3D visual grounding and action refinement, while offering a testbed for active multi-view exploration and explicit 3D grounding.

PR本紙発行元 EmplifAI