日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.39287

OpenFlyV2:機上で動作する視覚言語行動モデルによる空中知覚とナビゲーション

OpenFlyV2: An onboard vision-language-action model for aerial perception and navigation

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語の共有表現から飛行ウェイポイントを生成し、Jetson Orin NX上で10Hzの閉ループ飛行を実現した機上VLAモデル。シミュレーションから実機クアッドロータへゼロショット転移し、実環境4種で48%のナビゲーション成功率を達成した。

詳しい要約

1. どんなもの?

- 空中ロボット向けの統合型 onboard vision-language-action (VLA) モデル「OpenFlyV2」 - 単一モデル内で semantic understanding、language-grounded perception、spatial reasoning、continuous aerial control を担う - 共有 vision-language representation を基盤とする - 構成要素 - compact action expert がマルチモーダル文脈を短ホライズンの flight waypoints に変換 - motion-aware temporal memory と action priors で閉ループ実行の計算コストを削減 - 動作 - 12 waypoints からなる action chunks を生成 - NVIDIA Jetson Orin NX 上で完全 onboard、10 Hz で実行 - データセット - シミュレーション基盤の dataset を構築(約 70,0…

2. 先行研究と比べてどこがすごい?

- 既存システムの課題(要旨の指摘) - 個別能力に特化している - offboard computation に依存する - 資源制約プラットフォームで閉ループ運用を維持できない - OpenFlyV2 の差分 - 単一モデルで知覚・言語接地・空間推論・連続制御を統合 - 完全 onboard 実行を実現(Jetson Orin NX、10 Hz) - 実世界の空中訓練データなしで simulation から physical quadrotor へ zero-shot 転移 - 4 つの実環境で 48% の navigation success rate - 主張 - 広範な vision-language 能力と連続閉ループ飛行が資源制約下の空中プラットフォームで共存可能 - 個々の先行研究との具体的比較は要旨からは不明

3. 技術・手法の肝は?

- アーキテクチャの肝 - 共有 vision-language representation を単一モデルの中核に置く - compact action expert が共有マルチモーダル文脈を flight waypoints に変換 - 計算コスト削減の仕組み - motion-aware temporal memory - action priors - これらにより閉ループ実行の負荷を低減 - 出力と実行 - 12 waypoints の action chunks を生成 - onboard で 10 Hz の連続制御 - 学習データ - シミュレーション基盤の dataset(約 70,000 navigation trajectories、60,000 vision-language instruction–response pairs) - 各構成要素の詳細な設計・学習手順は要旨からは不明

4. どうやって有効だと検証した?

- データセット構築 - シミュレーション基盤で約 70,000 navigation trajectories と 60,000 vision-language instruction–response pairs を用意 - onboard 実行検証 - NVIDIA Jetson Orin NX 上で 12 waypoints の action chunks を 10 Hz で生成 - 実機転移 - simulation から physical quadrotor へ zero-shot 転移 - 実世界の空中訓練データなし - 4 つの実環境で 48% の navigation success rate - 主張の検証 - 広範な vision-language 能力と連続閉ループ飛行の共存を資源制約下で示す - ベースライン比較や ablation の詳細は要旨からは不明

5. 議論はある?

- 要旨で示される主張 - 知覚・言語・空間推論・制御を単一モデルに統合しても、資源制約下の空中プラットフォームで連続閉ループ飛行が可能 - 性能面の含意 - 実世界訓練データなしの zero-shot 転移で 48% 成功 - 成功率の限界や失敗要因の分析は要旨からは不明 - 計算面 - motion-aware temporal memory と action priors によるコスト削減を主張 - 具体的な計算量・遅延の定量比較は要旨からは不明 - 一般化・安全性・実運用上の制約に関する議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として挙げられる要素 - vision-language-action (VLA) モデル - language-grounded perception - spatial reasoning - action chunking / action expert - motion-aware temporal memory - action priors - 同分野の定番として検討候補 - onboard aerial navigation 向け VLA - simulation-to-real (sim-to-real) transfer - resource-constrained edge inference (NVIDIA Jetson Orin NX) - 公開予定コード: https://github.com/Ideal-ljl/AeroBrain

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junli Liu, Zhongrui You, Chenhui Li, Zhen Li, Yuyang Tian, Qizhen Chen, Delin Qu, Haoming Song, Dong Wang, Xuelong Li, Zhigang Wang, Bin Zhao

分類: cs.RO

原文アブストラクト

Human cognition flexibly draws on a shared perceptual foundation to understand environments, attend to referenced entities, reason about spatial relationships, and act. Endowing aerial robots with an analogous functional organization remains challenging, as existing systems are often specialized for individual capabilities, dependent on offboard computation, or unable to sustain closed-loop operation on resource-constrained platforms. We present OpenFlyV2, a unified onboard vision-language-action architecture that uses a shared vision-language representation to support semantic understanding, language-grounded perception, spatial reasoning, and continuous aerial control within a single model. A compact action expert converts the shared multimodal context into short-horizon flight waypoints, while motion-aware temporal memory and action priors reduce the computational cost of closed-loop execution. We construct \dataset{}, a simulation-based dataset comprising approximately 70,000 navigation trajectories and 60,000 vision-language instruction--response pairs. OpenFlyV2 generates action chunks, each comprising 12 waypoints, entirely onboard at 10 Hz using an NVIDIA Jetson Orin NX. It transfers zero-shot from simulation to physical quadrotor flight, achieving a 48\% navigation success rate across four real-world environments without real-world aerial training data. Extensive results demonstrate that broad vision-language competence and continuous closed-loop flight can coexist within a single model on a resource-constrained aerial platform. Code will be made publicly available at https://github.com/Ideal-ljl/AeroBrain.

関連論文

PR本紙発行元 EmplifAI