arXiv、3D空間・時間推論を閉ループ行動で測るベンチマーク「SpaceAct」を発表

何が起きたか

論文「SpaceAct: Benchmarking 3D Spatial and Temporal Reasoning via Closed-Loop Action and Active Perception」が2026年10月28日にarXivで公開された。著者らは、閉ループの物理操作と能動的な視点変更を評価するベンチマークSpaceActと、エージェント枠組みSAPAを提示した。組み立てブロックや機械パズルを使う108の検証済みインスタンスを、36のタスクファミリーと6カテゴリーに分けている。

詳細

SpaceActは、特権的な座標情報を与えずに、遮蔽された2D視点からの3D形状把握、物理的な動きの予測、操作を評価する。診断モードには「+plan」「+state」「no-camera」「blind」「L7 levers」がある。ブロックの橋渡しや開口部への通過課題では、エージェントがカメラを回転させ、場面内の定規を読み、6自由度の姿勢を出力する。操作は掃引衝突と静力学の検査を受け、分割画面のロールバック結果を使って修正する。動的タスクでは、推論中に時間を止め、5枚のストロボフレームを与える。 最難関の44インスタンスを対象に、10種類の最先端MLLMを評価した結果、スコアは4.8〜79.1に分布し、7モデルは6自由度タスクの正答率が最大でも27.3%だった。上位3モデルでは参照プランの追加で性能差の44%が縮まった一方、エピソード当たりの衝突は5.2回残った。正確な3D状態を加えると性能差の90%が縮まり、衝突は0.5回になった。別の4モデル群では、平均スコアが「+plan」で10.9から35.3、「+state」で81.8になった。失敗の46%は衝突または観測のループに分類された。

Key Facts

本紙の見方

SpaceActの焦点は、画像の説明や記号上の計画だけでは測りにくい、視点選択から実動作の修正までを一続きで評価する点にある。108インスタンス、36タスクファミリー、6カテゴリーを用意し、座標をあらかじめ渡さない設計は、ベンチマーク上の正解とロボットが実際に利用できる情報との差を測ろうとするものだ。一方、論文の評価では「+plan」だけでも成績は改善するが、上位3モデルで衝突がエピソード当たり5.2回残った。計画の妥当性と、観測に基づき安全な動作へ落とし込む能力が別の評価軸になることを示す結果と読める。 より大きな差は、正確な3D状態を与える「+state」で現れた。上位3モデルでは性能差の90%が縮まり、衝突は0.5回になったほか、別の4モデル群の平均スコアは81.8に達した。これは、モデルの成績が推論能力だけでなく、視覚から幾何情報を取り出す過程にも強く左右される可能性を示す。ただし、正確な3D状態を使う条件は、通常の視覚入力だけで動く条件と同一ではない。評価値をそのまま実環境での操作性能とみなすのではなく、診断モードごとの情報条件を分けて読む必要がある。 失敗の46%が衝突または観測ループだった点も、ベンチマークの設計意図に直結する。失敗を単一の正答率にまとめず、物体との干渉と、視点を変えても必要情報を得られない状態を分けることで、改善すべき工程を切り分けられる。ロボットの開発・評価に使う場合も、計画生成、3D視覚認識、姿勢出力、衝突回避、実行後の修正のどこで性能が落ちるかを個別に確認する材料になり得るが、論文の結果だけで実機への有効性までは確定しない。 次に確認すべきなのは、ブロックや機械パズルで得られた傾向が、対象物や環境を変えた場合にも続くか、また診断条件の違いが実機評価とどう対応するかである。今回の評価は最難関44インスタンスと10モデルに基づくため、より広いモデル群やタスク群での再現性も論点になる。論文は閉ループ操作を評価対象に加えたが、ここで示されたスコアが実機の成功率や安全性をどの程度予測するかは、今後の検証を要する。

なぜ重要か

SpaceActでは、参照プランを与えても衝突が残り、正確な3D状態を加えた条件では衝突回数が減った。モデルを操作に使う際、計画の質だけでなく、視覚情報から3D形状を把握し、動作を修正する工程を個別に評価する必要があることを示す結果だ。