単眼映像から長期記憶を使うナビゲーション基盤モデル「Compass 1」

何が起きたか

「Compass 1: Towards Open-World and Persistent Embodied Navigation from Monocular RGB Videos」と題する論文が、2026年11月9日にarXivへ掲載された。著者らは、単眼RGB映像から言語理解と動画生成を統合し、約2分の視覚履歴を使うナビゲーション基盤モデルを提案した。論文によると、オープンワールド評価の全体成功率は79.4%で、最も強いベースラインの17.8%を上回った。

詳細

手法は、疎な視覚キーフレームと明示的な「History Representation Map」を組み合わせ、長期の時空間情報を保持する「History Representation」と、タスク段階の接地・探索の一貫性・時空間的な対象検索の3分類からなるVQA教師あり学習手順「History Utilization」で構成する。論文は、単眼RGB映像のアノテーション工程を整備し、実世界インタラクション映像500時間超と、アノテーション済みウェブ動画2,000時間超を含むデータセットを公開したとしている。 学習は主にカメラ高1mのデータ分布で行い、車輪型ロボット（0.35m）、四足歩行ロボット（0.5m）、ヒューマノイド（0.85m）、ドローン（1.5m）などへの汎化を報告した。基礎タスクのゼロショット実行成功率は90%超、探索性能は250%向上し、履歴を使う難しいバックトラッキング課題では成功率が0%から58%になったと論文は述べている。

Key Facts

本紙の見方

この論文の技術的な焦点は、単眼映像ナビゲーションに長期記憶を加える際、モデルの基盤アーキテクチャを変更せず、キーフレームと履歴マップによる表現、および履歴を使わせる教師信号を組み合わせた点にある。論文は、既存の方式が直近の少数フレームに依存しやすいと問題設定し、約2分の履歴参照と、探索の一貫性や対象の位置・時間を問う訓練課題で補う構成を示す。したがって、単に映像を長く入力する提案ではなく、保持する情報の形式と、その情報を行動判断に利用させる学習設計を一体化した研究と位置づけられる。 79.4%という全体成功率は、論文記載の最強ベースライン17.8%との差が大きい。一方、評価条件やタスク構成、ベースラインの内訳が要旨には示されていないため、この差を異なる環境や実機運用へそのまま一般化することはできない。0%から58%へのバックトラッキング改善も、長期履歴の活用が難しい課題に対する効果を示す一方、成功率がなお58%であることから、履歴を持たせるだけで長期実行の安定性が解決したとは読めない。 データ面では、実世界のインタラクション映像500時間超に、ウェブ動画2,000時間超のアノテーションを加える構成が重要だ。学習分布をカメラ高1m中心としながら、高さの異なる4種の機体への汎化を報告しており、単一視点の学習データを異なる身体形状へつなぐ設計を試している。ただし、各機体での評価数や環境条件、映像と行動の対応付けの方法は要旨から確認できず、汎化の範囲を判断するには詳細が要る。 次に見るべき点は、公開データセットとアノテーション工程が第三者に再現可能な形で提供されるか、評価が実機での長時間運転に及ぶか、そして照明・遮蔽・動的な人混みなど条件別に性能がどう変わるかである。論文の要旨は、探索性能の「250%向上」の比較対象や計算資源、遅延、安全性の評価を記していない。これらが明らかにならない限り、報告されたベンチマーク性能と、継続運用するロボットのナビゲーション性能は分けて評価する必要がある。

なぜ重要か

論文が示す約2分の履歴参照と履歴マップは、直近の映像だけでは過去に見た対象や探索経路を判断しにくいナビゲーション課題に対する具体的な設計案である。実世界映像500時間超などのデータ公開と、異なる高さの機体での評価が報告されており、長期記憶を使う方式の再現性と機体間の適用範囲が検証点となる。