RTNav: リアルタイムゼロショット物体ナビゲーションに向けて

RTNavは、実時間（real-time）環境下でのzero-shot object navigationを実現するためのアーキテクチャを提案する研究。従来の同期シミュレータでは無視されていた推論遅延や非同期環境ステップ、計算資源の制約を明示的に設計に組み込み、実世界での連続動作を想定した性能向上を目指す。

従来の最先端手法は同期シミュレータで開発され、推論時間が実質無料と見なされていたため、実時間実行では性能が劣化する。RTNavは、このような現実的な時間制約下での性能劣化を明らかにし、遅延と非同期性を考慮した設計により、HM3D-v1/v2/OVONの実時間変種で成功率を最大11%、Success weighted by Completion Timeを最大5.1ポイント向上させた点が優れている。

手法の肝は、推論遅延、非同期環境ステップ、計算資源の制約を明示的な設計要素として扱うこと。具体的な技術詳細は要旨からは不明だが、アーキテクチャはシンプルで効果的とされ、実時間実行に適した設計がなされている。

HM3D-v1、HM3D-v2、HM3D-OVONの実時間変種を用いて評価し、成功率とSuccess weighted by Completion Timeの指標で従来手法と比較した。その結果、成功率で最大11%、SCTで最大5.1ポイントの改善を確認した。

要旨からは、実時間実行の重要性と従来手法の性能劣化が示されたが、具体的な議論（例えば、トレードオフや限界）は不明。また、提案手法の汎用性や他のタスクへの適用可能性についても言及がない。

要旨で参照されている先行研究は明示されていないが、zero-shot object navigationの分野では、vision-language foundation modelsを用いた手法（例えば、CLIPやViTベースのナビゲーション手法）や、HM3Dデータセットを用いた研究が関連する。具体的には、Object Goal NavigationやZero-Shot Object Navigationの既存研究を読むことが推奨される。