階層型高速・低速ReActエージェントによるゼロショット物体目標ナビゲーション

本論文は、Zero-Shot Object-Goal Navigation (ZSON) のための階層的なFast-Slowエージェントを提案する。ロボットが未訪問の建物内で指定された物体カテゴリを探索するタスクにおいて、従来の価値マップに基づくリアクティブな意思決定と、VLMを用いた遅延的な推論を組み合わせる。座標アンカー付きメモリ（セマンティックグリッドとキーフレーム）を構築し、構造イベントで起動するdeliberative layerがテキスト優先で推論し、必要に応じて一人称視点を参照する。

従来のZSON手法は、フロンティアを価値マップでスコアリングし、毎ステップargmaxで決定するため、過去の証拠を捨てる。また、VLMを固定スケジュールで現在の視点のみにクエリするため、過去の部屋を再考せず、失敗時のフォールバックがない。本手法は、メモリを推論の対象とし、VLMの呼び出しを制限しつつ、失敗時にリアクティブ制御へ戻すことで、これらの問題を解決する。

手法の肝は、階層的なFast-Slowアーキテクチャである。Fast層は価値マップコントローラを毎ステップ実行し、Slow層はメモリを読むdeliberative layerである。メモリは、部屋タイプと確認済み物体インスタンスのセマンティックグリッドと、ポーズタグ付きキーフレームのストアで構成される。VLMが各検出候補をスクリーニングし、deliberative layerはreason-retrieve-actループでテキスト優先、必要時のみ一人称視点を取得する。呼び出し回数は実行ごととランごとに上限があり、コールフリーの第一層が最も頻繁な停滞を解決し、失敗時はリアクティブ制御に戻る。

HM3D v1 valで68.75% SR、MP3D valで47.29% SRを達成し、比較したゼロショット手法の中で最高の成功率。また、2000エピソードのHM3Dでペア比較を行い、argmaxによる遠方フロンティア選択は、deliberationと比較して3.40 SRポイントの損失（95% CI [1.70, 5.05]）があることを示した。さらに、全フロンティアに対するdeliberationでは回復しないことも示した。

要旨からは、議論の詳細は不明。ただし、argmaxによる遠方フロンティア選択がSRを低下させること、全フロンティアへのdeliberationがコストに見合わないことが示唆される。また、VLMの呼び出し制限やフォールバックの重要性が議論されている可能性がある。

要旨で参照されている研究は明示されていないが、関連手法として、価値マップを用いたZSON（例：ZSONベースライン）、VLMを利用したナビゲーション、階層的強化学習、メモリ強化ナビゲーションなどが挙げられる。具体的には、'Object Goal Navigation'の古典的手法や、'Vision-Language Models'を用いた最近の研究を読むとよい。