LookStep: 言語的先見とイベント駆動メモリによる効率的な視覚言語ナビゲーション

LookStepは、Vision-Language Navigation (VLN)のための統一エンドツーエンドフレームワーク。Multimodal Large Language Models (MLLMs)を利用し、言語ラベルを用いた粗いナビゲーション進行と各候補アクションの将来状態を生成するLanguage Centric Future State Modelingと、各観測を意味的役割とともに有界なローリングメモリに書き込むか自律的に決定するEvent Driven Rolling Memoryを組み合わせる。VLN-CEタスクで、R2R-CE Val-Unseenにおいて49.7%の成功率を達成し、メモリ効率とデータ使用量の削減を実現。

既存のMLLMベースのVLN手法は、次のステップのアクション予測パラダイムに従い、専門家アクションのみを教師信号とするため大量のデータを必要とする。また、状態維持に認知マップ、累積履歴フレーム、外部3Dツールに依存し、計算・メモリオーバーヘッドが高い。LookStepは、言語中心の将来状態モデリングとイベント駆動のローリングメモリを導入し、データ使用量を減らしつつメモリ効率を向上させ、同じトレーニング設定で既存手法を上回る性能を達成。

手法の肝は2点。1) Language Centric Future State Modeling: 言語ラベルを使用して、各候補アクションに対する粗いナビゲーション進行と将来状態を生成し、アクション予測を支援。2) Event Driven Rolling Memory: 各観測を意味的役割（例：ランドマーク、方向転換など）とともに有界なローリングメモリに書き込むかどうかを自律的に決定し、メモリ使用を効率化。これらを統合したエンドツーエンドフレームワークにより、リソース効率の高いVLNを実現。

VLN-CEタスクで検証。R2R-CE Val-Unseenにおいて、同じトレーニング設定で既存手法を上回る49.7%の成功率を達成。メモリ効率とデータ使用量の削減も確認。コードとモデルは公開。

要旨からは、提案手法の限界や潜在的な問題についての議論は不明。ただし、成功率が49.7%とまだ完全ではないこと、実環境での汎用性や他のVLNベンチマークでの性能は要旨に記載がないため不明。

要旨で参照されている既存手法（MLLMベースのVLN手法、VLN-CEベンチマーク、R2R-CEデータセット）に関連する論文。具体的には、VLN-CEの元論文や、MLLMを用いたVLNの代表的手法（例：NavGPT）などが考えられるが、要旨に明示されていないため、同分野の定番としてVLN-CEのベースラインやMLLMベースのVLN手法を挙げる。