OptiSight：意味推論と幾何制御を橋渡しする身体化ナビゲーション

OptiSightは、屋内自律ナビゲーションのためのハイブリッドフレームワークである。Vision-Language Model (VLM)による意味推論と、決定論的visual servoingを組み合わせ、有限状態のChain-of-Thought (CoT)アーキテクチャを採用する。Grounded-SAMを用いてオープン語彙のターゲットをローカライズし、カメラ投影幾何学により密なマッピングを必要とせずに視覚観測をナビゲーションコマンドに変換する。VLMは重要な決定ポイントでのみクエリされ、計算オーバーヘッドを削減しつつ、幾何学的制御が連続的なナビゲーションを担う。AI Habitatでの実験により、多様な屋内シナリオでゼロショットナビゲーションを実証し、8 GB VRAMの制約内で動作する。

従来の手法は、密なマッピングや明示的な意味マップに依存するか、VLMを頻繁に呼び出して計算コストが高い。OptiSightは、VLMの推論と幾何学的制御をハイブリッドに統合し、VLMのクエリを重要な決定ポイントに限定することで、計算オーバーヘッドを削減しつつ、意味理解と正確な幾何学的制御の両立を実現している。また、密なマッピングを必要としないため、軽量で実用的である。

手法の核心は、有限状態のCoTアーキテクチャにより、VLMの推論と決定論的visual servoingを切り替える点にある。Grounded-SAMがオープン語彙のターゲットを検出し、カメラ投影幾何学を用いてターゲットへの相対的なナビゲーションコマンドを生成する。VLMは、ターゲットの曖昧さや障害物回避などの高次の決定が必要な場合にのみ呼び出され、それ以外は幾何学的制御が連続的な動作を担う。これにより、計算資源を効率的に使用する。

AI Habitatシミュレータを用いて、多様な屋内シナリオでゼロショットナビゲーションの実験を行った。障害物回避や意味的曖昧さを含む状況で有効性を検証し、8 GB VRAMのメモリ予算内で動作することを確認した。具体的な数値結果は要旨に記載されていない。

要旨からは、VLMのクエリ頻度とナビゲーション性能のトレードオフや、実環境でのロバスト性、Grounded-SAMの検出精度への依存などについての議論は不明である。また、8 GB VRAMという制約は、より複雑なシナリオや大規模な環境でのスケーラビリティに影響する可能性があるが、詳細は不明。

要旨で参照されている関連研究として、Grounded-SAM、Vision-Language Model、visual servoing、AI Habitatが挙げられる。次に読むべき論文としては、Grounded-SAMの原著論文、VLMを用いたナビゲーションの代表的な研究（例：LM-Nav）、visual servoingの基礎論文、AI Habitatのプラットフォーム論文が考えられる。