階層型高速・低速ReActエージェントによるゼロショット物体目標ナビゲーション

本論文は、Zero-shot object-goal navigation (ZSON) タスクのための階層的なエージェントを提案する。このエージェントは、高速な反応層（value-map controller）と低速な熟考層（deliberative layer）を組み合わせ、座標に固定されたメモリ（coordinate-anchored memory）を用いて過去の観測を記憶し、VLMによる検出スクリーニングと限定的なreason-retrieve-actループで意思決定を行う。HM3DとMP3Dのベンチマークで高い成功率を達成している。

従来のZSON手法は、frontierをvalue mapでスコアリングし、その場のargmaxで決定するため、過去の証拠を捨てていた。また、VLMを固定スケジュールで現在の視点のみにクエリするため、過去の部屋を再考せず、失敗時のフォールバックがなかった。本手法は、記憶を熟考の対象とし、構造的イベントで起動する熟考層を追加し、VLM呼び出しに上限を設けることで、これらの問題を解決している。

手法の肝は、階層的なfast-slowアーキテクチャとcoordinate-anchored memoryである。反応層は毎ステップvalue-map controllerを実行し、移動中にセマンティックグリッド（部屋タイプと確認済みオブジェクト）とポーズタグ付きキーフレームを記憶する。VLMが各検出をスクリーニングし、熟考層は構造的イベントで起動し、テキストで推論し、テキストで分離できない候補のみ第一人称ビューを呼び出す。呼び出し回数は制限され、失敗時は反応層に制御を戻す。

HM3D v1 valで68.75% SR、MP3D valで47.29% SRを達成し、比較したzero-shot手法の中で最高の成功率。また、2000エピソードのHM3Dで、argmaxによるfrontier選択と比較して3.40 SRポイントの差（95% CI [1.70, 5.05]）をpaired comparisonで示し、熟考の有効性を検証した。

要旨からは、熟考層の計算コストやVLM呼び出しの上限設定の詳細、失敗時のフォールバックの具体的な挙動、他のタスクへの一般化などについての議論は不明。また、HM3DとMP3Dでの比較手法の選定基準や、成功率以外の指標（SPLなど）についても言及がない。

要旨で参照されている関連研究として、value-mapを用いたZSON手法（例：ZSONベースライン）や、VLMをperception-actionループに組み込んだシステムが挙げられる。具体的には、HM3DやMP3Dデータセットを用いたzero-shot object-goal navigationの既存研究を読むことが推奨される。