CGFM-Nav: 意味ガイド型生涯マルチモーダル具現化ナビゲーションのための認知グラフフィールドメモリ

本論文は、Vision-and-Language Navigation (VLN) におけるエージェントの環境表現の課題に対処するため、Cognitive Graph-Field Memory (CGFM) を提案している。CGFM は、明示的な関係記憶（マルチモーダルシーングラフ）と連続的な空間直感（セマンティックフロンティアフィールド）を結合した永続的なマルチモーダルシーン表現である。これに基づき、CGFM-Nav という foundation-model ベースのフレームワークを構築し、タスク関連サブグラフ選択、VLM 推論、検証フィードバックを閉ループ意思決定に統合することで、生涯マルチモーダルナビゲーションを実現する。

既存の環境表現は、明示的なセマンティックメモリと連続的な探索ガイダンスを同時にサポートすることが困難であった。CGFM は、シーングラフによる明示的関係記憶と、セマンティックフロンティアフィールドによる連続的空間直感を結合することで、この課題を解決している点が新しい。また、CGFM-Nav は、タスク関連サブグラフ選択と VLM 推論、検証フィードバックを統合した閉ループ意思決定を導入し、GOAT-Bench において同じバックボーン（Qwen3-VL-8B）で成功率を 53.2% から 63.0% に、SPL を 30.0% から 39.6% に向上させた。

CGFM は、オブジェクト、空間関係、視覚観測をマルチモーダルシーングラフとして組織化し、ターゲット検索と長期的推論を可能にする。信頼できるターゲットマッチが特定されない場合、グラフベースの証拠を goal-conditioned semantic-frontier field に投影し、セマンティックに有望なフロンティアと領域への探索をガイドする。CGFM-Nav は、タスク関連サブグラフ選択、VLM 推論、検証フィードバックを統合した閉ループ意思決定を採用している。

GOAT-Bench 上で予備実験を実施し、同じ Qwen3-VL-8B バックボーンを用いて、CGFM-Nav が全体の成功率を 53.2% から 63.0% に、SPL を 30.0% から 39.6% に向上させることを示した。これにより、明示的セマンティックメモリとセマンティックガイド付き探索の組み合わせの有効性を実証した。

要旨からは、実験が GOAT-Bench の予備実験に限定されていること、他のデータセットや実環境での検証が不明であること、また、CGFM の各コンポーネントの寄与の詳細な分析が不明である。さらに、VLM の選択や計算コストに関する議論も要旨には含まれていない。

要旨で参照されている GOAT-Bench に関連する研究、および Vision-and-Language Navigation (VLN) の既存手法（例: シーングラフを用いたナビゲーション手法、セマンティックフロンティアを用いた探索手法）が挙げられる。具体的には、GOAT-Bench の提案論文や、VLN における foundation-model ベースのアプローチ（例: VLM を用いたナビゲーション）が関連する。