Compass 1：単眼RGB動画からのオープンワールド持続型身体性ナビゲーションに向けて

- 開放世界での持続的な空間認識と長期的な実行安定性を目指すembodied navigationの基盤モデル。 - 言語理解とvideo generationを統合し、約2分間の視覚履歴をmemory backtrackingできる初のモデルと主張。 - 単眼RGB動画から学習し、屋内から歩行者密集の街路まで多様なembodiment・環境へ汎化。 - wheeled robot(0.35m)、quadruped dog(0.5m)、humanoid(0.85m)、aerial drone(1.5m)で評価。

- 既存のnavigation architectureは直近数フレームでしか有効でなく、持続的空間認識と長期的実行の両立が困難と指摘。 - Compass 1は約2分の視覚履歴を扱うmemory backtrackingを可能にし、この両立を狙う点が差分。 - open-world評価のoverall success rateは79.4%で、最強baselineの17.8%を大きく上回る。 - 困難なpersistent history backtrackingで0%から58%へ改善したと報告。

- 基盤アーキテクチャを変更せず、History Representationを導入。 - 疎なvisual keyframesと明示的なHistory Representation Mapを統合し、長期的な時空間文脈を保持。 - History Utilizationとして、task-stage grounding、exploration consistency、spatiotemporal target retrievalの3カテゴリからなる構造化VQA supervision protocolを導入。 - これによりmap-grounded reasoningと安定したpersistent long-horizon navigationを狙う。

- 単眼RGB動画向けの完全なannotation pipelineを構築し、500時間超の実世界interactionと2,000時間超のannotated web videosを含む大規模datasetをopen-source化。 - 主に1m高さcameraの分布で学習し、多様なembodiment・scenarioでzero-shot評価を実施。 - open-world評価でoverall success rate 79.4%(最強baseline 17.8%)。 - 基礎タスクで90%超のzero-shot実行、explorationで250%向上、persistent history backtrackingで0%から58%への改善を報告。

- 約2分の視覚履歴を扱うmemory backtrackingと長期的安定性の両立が中心的な主張。 - 1m高さcamera分布で主に学習しながら、0.35mから1.5mまでの異なる視点・embodimentへ汎化する点を議論。 - ただし具体的な失敗事例、計算コスト、履歴長の限界、datasetの偏りなどは要旨からは不明。

- 要旨で直接参照・比較されている研究は明示されていない。 - 関連手法として、embodied navigationの基盤モデル、video generationベースのworld model、visual keyframeを用いるlong-term memory、VQA supervisionを用いるnavigation学習、monocular RGBからのnavigation datasetを挙げて追うのが妥当。 - 具体的な論文名は要旨からは不明。