RepresentNav、自己構成型の表現空間を使うナビゲーション基盤モデルを発表

何が起きたか

arXivに2026年10月22日掲載された論文は、ナビゲーション基盤モデル「RepresentNav」を提案した。複数の視覚基盤モデルの特徴から方策自身の目的に沿った表現空間を作り、その空間で次の場面を予測してから行動する仕組みである。論文によると、VLNVerseの細粒度設定で成功率83.80%を達成し、従来の最高値を20.05ポイント上回ったほか、雑然とした環境や人が移動する環境で物理ロボットにも適用した。

詳細

表現空間は、複数の視覚基盤モデルの全層にまたがる特徴を扱う、3層のTransformer「Representation Residuals」で構成する。行動ごとに、潜在的な連鎖思考が少し先の場面の表現を予測する。この予測は、次表現の予測損失と予測対象への正則化を用いるJEPAとして、方策とエンドツーエンドで学習する。 論文は、EVT-Benchの妨害を伴う追跡設定で、単眼カメラにより85.5%を達成し、従来の最高値を10.1ポイント上回ったと報告した。また、予測した潜在表現から少し先の場面の深度、意味情報、3D占有を復元でき、占有情報を教師として与えていないにもかかわらず、実際の未来フレームに事前学習済みエンコーダーを適用した場合より正確だったという。予測は次の1秒間のロボット自身の動きを追跡し、衝突を4分の1減らしたとする。

Key Facts

本紙の見方

今回の技術上の焦点は、視覚エンコーダーが事前学習で得た表現をそのまま方策に渡すのではなく、ナビゲーションの目的に合わせて表現空間を作り直す点にある。さらに、その同じ空間で次の場面を予測するため、入力の表現設計と行動前の予測を一体で扱う構成だ。単に複数エンコーダーの出力を連結する方式より、同じエンコーダーを使った場合に自己構成型の空間が明確に上回ったという比較も、提案の中心的な根拠になっている。 性能値は、VLNVerseの細粒度設定で83.80%、EVT-Benchの妨害を伴う追跡設定で単眼カメラ85.5%と、それぞれ異なる評価条件の結果である。前者の従来最高値からの差は20.05ポイント、後者は10.1ポイントとされる。これらは論文のベンチマーク上の報告であり、異なる設定の数値を横並びにして、実環境全般で同じ改善幅が得られるとは解釈できない。一方、雑然とした環境や移動する人がいる環境で物理ロボットにも適用したとの記述は、シミュレーション上の指標だけにとどまらない評価を含むことを示す。 構造面では、表現空間が現在の場面を記述するだけでなく、深度・意味情報・3D占有を含む少し先の場面を潜在的に予測する。特に占有を教師として与えずに復元できたという報告は、明示的な占有ラベルを使わない学習でも、ナビゲーションに必要な空間情報を潜在表現に持たせられる可能性を示す。ただし、これは論文が示した結果の範囲での解釈であり、どの環境やロボットにも同様に成り立つとは限らない。衝突を4分の1減らしたという結果も、評価条件や比較対象を確認して読む必要がある。 実用性を判断するには、物理ロボットの機種、環境とタスクの条件、試行数、計算資源、複数の視覚モデルを使う際の実行負荷を確認したい。要約には、これらの詳細や、学習に使ったデータの規模・構成は記されていない。今後は、単眼カメラでの追跡結果が別のナビゲーション課題にも及ぶか、予測が外れた場合に衝突抑制効果がどう変わるか、実機での再現性がどの程度かが検証点となる。

なぜ重要か

論文が示すのは、複数の視覚モデルの出力を単純に連結する方式と比べ、ナビゲーション方策向けに構成した表現空間がベンチマークで上回ったという結果である。行動前の潜在予測についても衝突を4分の1減らしたと報告しており、実機ナビゲーションでは、次の場面を予測する仕組みが衝突回避にどう寄与するかが評価上の論点となる。