重要なものを見極める：マニピュレーションのためのタスク条件付き行動可能な空間信念のベンチマーク

- 本論文は『Seeing What Matters』という、シミュレーション卓上マニピュレーションにおける task-conditioned actionable spatial belief のベンチマークを提案する。 - 単にシーンを記述できるかではなく、現在の command を実行可能にする証拠を取得できるかを評価する。 - coffee workstation、drawer/cabinet、microwave/appliance の3ドメインで860件の frozen evaluation cases を提供。 - 手法・budget・inference repeats を展開すると115,000以上の evaluator episodes になる。 - closed-loop actionability と same-object functional out-of-distribution generalization の2プロトコルで評価する。 - 各ケースは候補 RGB views、manipulation command、共有 scripted…

- 従来の spatial-reasoning benchmarks はモデルがシーンを記述できるかを評価するが、本ベンチマークは command 実行に必要な証拠取得を直接測る点が異なる。 - 同一 workstation でも task によって有用な view が変わる点を明示的に扱う。 - 単一の scene-level completeness ではなく、task-conditioned な view-selection policy の actionability を評価する。 - closed-loop actionability と same-object functional-OOD generalization の2プロトコルを備える。 - 具体的な先行研究名や比較対象は要旨からは不明。

- 各ケースに候補 RGB views、manipulation command、共有 scripted skills、隠された postconditions を対応付ける。 - view-selection policy が command に必要な観測を取得できるかを直接測定する設計。 - diagnostic reference pipeline は spatial-functional belief state を維持し、missing evidence に基づいて views をランク付けする。 - functional 成分や command-binding 成分を ablation すると性能がほぼゼロに崩壊する。 - coverage metadata を frozen RGB-derived scores に置換しても高成功率を保つが、visual scores を shuffle すると崩壊する。

- 3ドメイン・860件の frozen evaluation cases を用意し、手法・budget・inference repeats を展開して115,000以上の evaluator episodes を生成。 - closed-loop actionability と same-object functional-OOD generalization の2プロトコルで評価。 - reference pipeline は primary budget settings で closed-loop 98.8%、functional-OOD 98.9% の成功率。 - functional または command-binding 成分の ablation で性能がほぼゼロに崩壊。 - 7つの vision-language models は同一ケースで26-43%にとどまる。 - coverage metadata を frozen RGB-derived scores に置換して98.5%/98.9%を維持、visual scores の shuffle で…

- マニピュレーションのための spatial belief は scene-level completeness ではなく、現在の command が必要とする証拠を取得できるかで評価すべきだと示唆する。 - reference pipeline と vision-language models の間の大きな性能差が議論の中心。 - 結果が image content に依存することを shuffle 実験で確認している。 - 限界や今後の課題についての詳細は要旨からは不明。

- 要旨で参照・比較されている具体的な先行研究名は明示されていない。 - 関連手法として、vision-language models の spatial-reasoning benchmarks、closed-loop actionability 評価、functional out-of-distribution generalization に関する研究が次に読む候補。 - 具体的な論文名は要旨からは不明。