SAP-Nav: 空間意味表現と能動的知覚を統合した階層的オープン語彙物体ナビゲーション

SAP-Navは、階層的オープンボキャブラリ物体ナビゲーション（hierarchical OVON）のための、完全オンラインでゼロショットのフレームワークである。エージェントは、シーン、部屋、領域、インスタンスレベルの手がかりを含む自由形式の指示に従い、未知環境を探索する。SAP-Navは、能動的に取得した部屋のビューからQueryable Spatial-Semantic Representationを段階的に構築し、任意の探索位置から空間意味クエリを可能にする。さらに、Active Viewpoint Verificationを用いて、現在の観測が十分な証拠を提供するか評価し、必要に応じてより情報量の多い視点にエージェントを再配置してから、カテゴリと属性の制約に基づいて候補を検証する。階層的OVONと標準的なカテゴリレベルOVONの両方をサポートし、タスク固有のトレーニングや事前計算されたシーンマップを必要としない。

先行研究のLangMapが階層的OVONを形式化したが、部分観測下での解決は困難であり、空間的接地には環境レベルの持続的な証拠が必要で、ターゲット検証には明確で識別可能な候補ビューが必要である。SAP-Navは、能動的知覚（active perception）を通じてこれらの要件に対処する点が新しい。具体的には、能動的に取得した部屋のビューから空間意味表現を構築し、任意の場所からクエリ可能にすることで、環境レベルの証拠を蓄積する。また、Active Viewpoint Verificationにより、現在の観測が十分か判断し、不十分ならより情報量の多い視点に移動してから検証する。これにより、トレーニングベースの手法を上回る性能を達成し、特に領域レベルのナビゲーションでSRを12.2%向上させた。

手法の肝は、能動的知覚に基づく2つの主要コンポーネントである。第一に、Queryable Spatial-Semantic Representationを段階的に構築する。エージェントは部屋のビューを能動的に取得し、それらを統合して空間意味表現を構築する。この表現は、任意の探索位置から空間意味クエリを可能にし、環境レベルの証拠を提供する。第二に、Active Viewpoint Verificationを採用する。エージェントは現在の観測が候補検証に十分な証拠を提供するか評価し、不十分な場合はより情報量の多い視点に再配置する。これにより、カテゴリと属性の制約に基づく候補検証の信頼性が向上する。全体として、タスク固有のトレーニングや事前計算されたシーンマップを必要とせず、完全オンラインで動作する。

実験は、LangMapとHM3D-OVONのベンチマークで実施された。SAP-Navは、階層的および標準的なカテゴリレベルOVONの両方で、全体的に最高の性能を達成した。特に、領域レベルのナビゲーションでは、トレーニングベースの手法と比較してSR（成功率）を12.2%向上させた。さらに、実世界のロボット実験でも実用可能性が実証された。

要旨からは、議論の詳細は不明である。ただし、SAP-Navは完全オンラインでゼロショットであるため、トレーニングベースの手法と比較して一般化の利点があると考えられる。また、能動的知覚により部分観測下での性能が向上するが、計算コストや探索効率のトレードオフが存在する可能性がある。実世界実験では実用可能性が示されたが、大規模環境や動的環境での性能は要旨からは不明である。

要旨で参照されている研究はLangMapであり、これは階層的OVONを形式化した先行研究である。また、HM3D-OVONはベンチマークとして使用されている。次に読むべき論文としては、LangMapの論文（階層的OVONの定式化）や、オープンボキャブラリ物体ナビゲーションの基礎となる手法（例えば、CLIPを用いたナビゲーション）が考えられる。具体的には、LangMapの論文と、HM3Dデータセットに関する論文が関連する。