日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
ナビゲーション/世界モデルarXiv:2611.01844

潜在行動の事前学習による汎用ナビゲーション世界モデル

OpenNWM: A Generalist Navigation World Model with Latent Action Pretraining

シェア:XThreadsFacebookLINEはてブBluesky

行動ラベルなしの大規模動画から潜在行動を学習し、実行動と整合させることで、未知環境でも汎化するナビゲーション世界モデルを構築した。

詳しい要約

1. どんなもの?

- OpenNWM は open-world navigation のための generalist navigation world model - navigation action を条件に将来の観測を予測し planning を支援するモデル - action-free 動画から universal latent action を学習する latent action pretraining を導入 - 大規模 action-free 動画データセット NavAnywhere を構築し pretraining に利用 - NavAnywhere の規模と多様性 - 15 の heterogeneous な source から 17.5 million visual observations - ground robots・humans・drones の navigation を収録 - residential areas, public/commercial spaces, urban settings, parks, natural landscapes…

2. 先行研究と比べてどこがすごい?

- 従来の navigation world model は action-conditioned training に必要な action-labeled data の coverage 不足で実世界 generalization が制約されていた - action-free navigation video は多様な視覚経験を持つが recorded action が無く、action-conditioned training に直接使えなかった - OpenNWM は action-free 動画から latent action を学習することで、この制約を緩和する点が新しい - 大規模かつ heterogeneous な NavAnywhere を整備し、ground robots・humans・drones の多様な視点・運動パターンを pretraining に活用 - 要旨では具体的な prior 手法名との定量比較は述べられていない

3. 技術・手法の肝は?

- 2 段階の学習戦略 - 第 1 段階: 大規模 action-free 動画を用いた visual prediction pretraining により universal latent action を学習 - 第 2 段階: action-conditioned post-training により latent action を physical motion に align - 肝は action ラベル無しの動画から潜在行動を抽出し、それを実際の navigation action に対応付ける点 - NavAnywhere を video pretraining 用にキュレーションし、多様な scene・視点・運動を学習に利用 - 詳細な architecture・loss・latent action の表現形式は要旨からは不明

4. どうやって有効だと検証した?

- in-domain および out-of-domain の benchmark で visual prediction の改善を確認 - navigation performance の向上も報告 - これにより latent-action pretraining が action-free 動画から dynamics learning と open-world navigation の generalization を改善できることを示す - 具体的な benchmark 名・指標・比較手法・数値は要旨からは不明

5. 議論はある?

- 主張は、latent-action pretraining により多様な action-free 動画が dynamics learning と generalization に寄与するという点 - action-labeled data の不足を action-free 動画で補える可能性を示す - 一方で、latent action と physical motion の alignment の限界や、domain gap の影響については要旨からは不明 - 失敗例・計算コスト・データバイアス・安全性に関する議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として navigation world model 全般、action-conditioned world model、latent action model、video prediction pretraining の代表的文献を次に読む候補とする - 本論文が構築した NavAnywhere と、latent action を用いる同分野の pretraining 研究を併せて追うのが有用 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dujun Nie, Ruiqi Song, Zixuan Wang, Hanqing Wang, Yifan Han, Baiyong Ding, Wenzhao Zheng, Hangbin Wu, Long Chen

分類: cs.RO, cs.AI

原文アブストラクト

Navigation world models predict future observations conditioned on navigation actions to support planning, but their generalization across real-world environments remains constrained by the limited coverage of action-labeled data. Action-free navigation videos provide diverse visual experience, yet lack the recorded actions required for action-conditioned training. We introduce OpenNWM, a generalist navigation world model with latent action pretraining. It learns universal latent actions from large-scale action-free videos through visual prediction pretraining, and further aligns them with physical motions via action-conditioned post-training. To support video pretraining, we curate NavAnywhere, a large-scale action-free navigation video dataset comprising 17.5 million visual observations from 15 heterogeneous sources. It captures navigation by ground robots, humans, and drones, with diverse viewpoints and motion patterns across five broad scene types: residential areas, public and commercial spaces, urban settings, parks, and natural landscapes. Experiments demonstrate improved visual prediction on in-domain and out-of-domain benchmarks, together with improved navigation performance. These results show that latent-action pretraining enables diverse, action-free videos to improve dynamics learning and generalization for open-world navigation.

関連論文

PR本紙発行元 EmplifAI