VTInstructor: 連続環境におけるナビゲーション指示生成のための視覚的軌跡プロンプティング

VTInstructorは、連続環境におけるego-centric RGBビデオからナビゲーション指示文を生成する、初のVLN instruction generationフレームワークである。従来手法が離散的なviewpoint graphとパノラマ観測を前提としていたのに対し、VTInstructorはナビゲーショングラフや事前構築マップ、シーン再構築を一切必要とせず、密なRGBストリームのみから軌跡の手がかりを抽出する。具体的には、EDTC (Efficient Dense Trajectory Condensation) が長いRGB軌跡をナビゲーションに重要なキーフレームへ凝縮し、VTP (Visual Trajectory Prompting) が経路・曲がり角・目標の手がかりをこれらのアンカーに重畳し、VTModが軌跡信号を視覚エンコーダに注入し、VT-GRPOが訓練中にこの空間注入を調整する。

先行研究のinstruction generatorは離散的なviewpoint graphとパノラマ観測を前提としており、軌跡構造が明示的であるため、連続環境では軌跡の手がかりを復元することが困難だった。VTInstructorは、連続環境で初めて軌跡の幾何学的情報を明示的な視覚的プロンプトに変換する点が革新的である。さらに、ナビゲーショングラフやマップ、シーン再構築を必要としないため、スケーラブルなデータセット構築に適している。R2R-CEおよびRxR-CEのVal Unseenベンチマークで、標準的なNLGメトリクス全てにおいて新たなSOTAを達成し、最強のベースラインをCIDErで+0.357および+0.109上回った。

手法の核心は、暗黙的な軌跡の幾何学を明示的な視覚的軌跡プロンプトに変換することにある。EDTCは、長いRGB軌跡からナビゲーションに重要なキーフレームを選択する。VTPは、これらのキーフレーム上に経路、曲がり角、目標の手がかりをオーバーレイする。VTModは、これらの軌跡信号を視覚エンコーダに注入する。VT-GRPOは、強化学習（GRPO）を用いて、訓練中にこの空間注入のキャリブレーションを行う。これにより、ナビゲーショングラフやマップ、シーン再構築を必要とせずに、連続環境での軌跡情報を効果的に活用する。

R2R-CEおよびRxR-CEのVal Unseenベンチマークで評価し、標準的なNLGメトリクス（CIDErなど）でSOTAを達成した。さらに、生成された指示文を凍結されたfollower（ナビゲーションエージェント）に与えたところ、成功率が63.3%に達し、最良の競合指示源よりも+14.7ポイント向上した。また、下流のナビゲーションタスクにおいて、データ拡張として一貫した+3 SRポイントの向上をもたらした。

要旨からは、VTInstructorの限界や潜在的な問題についての議論は明示されていない。しかし、連続環境での指示生成は、離散環境と比較して軌跡の不確実性が高く、生成された指示の品質が環境の複雑さに依存する可能性がある。また、VT-GRPOによるキャリブレーションは計算コストがかかる可能性があり、実時間応用には課題が残るかもしれない。さらに、自動メトリクスと人間による評価の乖離の可能性も考慮する必要がある。

要旨で参照されている関連研究として、VLN (Vision-and-Language Navigation) の既存手法や、R2R-CE、RxR-CEデータセットを用いた研究が挙げられる。また、連続環境でのナビゲーション指示生成に関連する研究として、DUETやSim2SimなどのVLN-CE手法、およびデータ拡張に関する研究が考えられる。具体的には、VLN-CEのベースラインであるCMAや、TransformerベースのVLNモデル、また指示生成のためのテキスト生成モデル（例：GPT-2やT5）を組み合わせた研究が関連する。