日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.24247

都市空中ナビゲーションのための二重フレームVLA:自己中心的行動と他中心記憶の統合

Allocentric Memory, Egocentric Acting: A Dual-Frame VLA for Urban Aerial Navigation

シェア:XThreadsFacebookLINEはてブBluesky

UAVが言語指示で都市を飛行するため、自己中心的な知覚と北固定マップ上の空間記憶を組み合わせた視覚言語行動モデルを提案し、目標位置予測の安定化手法も導入した。

詳しい要約

1. どんなもの?

- 都市環境における language-goal aerial navigation のための dual-frame VLA モデル CityNav-VLA を提案 - UAV が自然言語で指定された目的地へ、飛行中の観測のみを用いて到達することを目指す - egocentric な知覚と allocentric な空間メモリを統合する枠組み - 4B-scale backbone で動作し、単一 A100 上で意思決定あたり平均 0.68 s、ピークメモリ 8.6 GB

2. 先行研究と比べてどこがすごい?

- 従来 SOTA と比較し、Test Unseen で NE を 21.2% 削減、SR と SPL をそれぞれ 15.8%、30.9% 改善 - dataset refinement 後も former SOTA に対し NE 6.2% 削減、SR 5.6%、SPL 23.2% 改善 - 視点変化をまたいで証拠を保持する allocentric メモリにより長距離ナビゲーションを扱う点が特徴 - 追加の学習可能パラメータなしで目標の時間的変動を抑える EGC を導入

3. 技術・手法の肝は?

- 固定の north-up map に地理・landmark の prior を初期化し、UAV が視覚観測を逐次蓄積する allocentric spatial memory を構築 - instruction、現在の観測、UAV state、motion history に条件付けられた dynamic query で関連するメモリ証拠を検索し、map-frame target を予測 - deterministic controller が現在の pose を用いて map-frame target を body-frame command に変換し、global reasoning と egocentric execution を接続 - early goal commitment (EGC) が最初の K 回の予測の coordinate-wise median に実行目標を固定し、長期 horizon での目標変動を抑制

4. どうやって有効だと検証した?

- Test Unseen での NE、SR、SPL の指標により評価 - dataset refinement 後の former SOTA との比較を実施 - cumulative ablations を実施し、navigation-map features が最大の改善をもたらし、metric coordinates が endpoint accuracy をさらに向上させることを確認 - 単一 A100 上での推論時間とピークメモリを計測し、モデル効率を報告

5. 議論はある?

- cumulative ablations から navigation-map features の寄与が最大であることを議論 - metric coordinates が endpoint accuracy を改善する点を議論 - EGC により追加の学習可能パラメータなしで目標変動を抑制できる点に言及 - 具体的な限界や失敗事例、計算コスト以外の議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で比較されている former SOTA の具体的な論文名は要旨からは不明 - 関連手法として vision-language-action model (VLA)、language-goal aerial navigation、allocentric spatial memory を用いるナビゲーション研究 - 同分野の定番として UAV navigation における Vision-and-Language Navigation (VLN) 系の研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haotian Xu, Yue Hu, Zhengqiu Zhu, Tuo Feng, Wenguan Wang, Quanjun Yin

分類: cs.CV, cs.RO

原文アブストラクト

Language-goal aerial navigation requires a UAV to reach a destination specified in natural language using observations collected during flight. A key challenge is linking changing egocentric perception with spatial evidence anchored to stable locations for long-range navigation. We propose CityNav-VLA, a dual-frame vision-language-action model for urban navigation integrating dynamic egocentric context with persistent allocentric spatial memory. The UAV incrementally accumulates visual observations on a fixed north-up map initialized with geographic and landmark priors, preserving evidence across viewpoint changes. A dynamic query conditioned on the instruction, current observations, UAV state, and motion history retrieves relevant memory evidence to predict a map-frame target. A deterministic controller converts this target into body-frame commands using the UAV's current pose, connecting global reasoning with egocentric execution. To reduce target fluctuations over long horizons, early goal commitment (EGC) fixes the execution target to the coordinate-wise median of the first $K$ predictions without extra trainable parameters. On Test Unseen, CityNav-VLA reduces NE by 21.2% and improves SR and SPL by 15.8% and 30.9%, respectively. It also reduces NE by 6.2% and improves SR and SPL by 5.6% and 23.2%, respectively, relative to the former SOTA after dataset refinement. Cumulative ablations show that navigation-map features yield the largest gains, while metric coordinates further improve endpoint accuracy. With a 4B-scale backbone, inference averages 0.68 s per decision with 8.6 GB peak memory on a single A100, presenting remarkable model efficiency.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI