Finder: 身体性グラウンディングのためのエージェント型閉ループ物体探索

- 部分的に観測された3Dシーンで、言語が指す物体を見つけるembodied groundingのためのagentic closed-loop object-finding primitive「Finder」を提案。 - groundingを固定シーン表現からの受動的retrievalとして扱わず、query-conditioned planning、scoped evidence gathering、candidate verification、accept/continue/abort controlを結ぶtyped loop stateを維持する。 - Habitat/HM3D上のopen-vocabulary embodied Object Retrievalと実世界RGB-Dシーンで評価。

- 既存手法は、object searchをonline explorationと結合し、関連観測が既にある場合に高コストになり得る。 - あるいはpre-built open-vocabulary mapsやscene graphsを静的・one-shotでqueryする。 - Finderは、証拠が不完全・曖昧な場合にtop retrieved objectを返すだけでなく、後続のperceptionとcomparisonを再方向付けできる点が異なる。 - 強いbaselinesに対しaveraged 1m success rateを15.75ポイント改善。

- typed loop stateを維持し、query-conditioned planning、scoped evidence gathering、candidate verification、accept/continue/abort controlをリンクする。 - 証拠が不完全または曖昧な場合、loopが後続のperceptionとcomparisonをredirectする。 - grounding protocolを変えずにsequential object groundingやembodied object-centric question answeringへ転移するprimitive。

- Habitat/HM3D上のopen-vocabulary embodied Object Retrievalで評価。 - 実世界RGB-Dシーンでも評価。 - averaged 1m success rateが強いbaselinesより15.75ポイント改善。 - sequential object groundingとembodied object-centric question answeringへの転移も確認し、spatial/temporal localizationを改善。

- 要旨からは不明。 - 明示的なlimitationsやfailure cases、計算コスト、loop制御の詳細な議論は要旨に記載されていない。

- 要旨で参照/比較されている具体的な研究名は不明。 - 関連手法として、online explorationとobject searchを結合する手法、pre-built open-vocabulary mapsやscene graphsを静的・one-shotでqueryする手法が挙げられている。 - 同分野の定番としてembodied grounding、open-vocabulary object retrieval、Habitat/HM3Dベンチマーク関連の研究を読むとよい。