オンザフライVLN：空中ロボット向けオンボード視覚言語ナビゲーションスタック

- 空中ロボット上で完全にオンボード実行する Vision-Language Navigation (VLN) スタック「VLN on the Fly」を提案。 - grounding・planning・control を別々の検査可能な段階として保持。 - 量子化 VLM が指示を粗い画像セルに接地し、depth で 3D ゴールに持ち上げ、B-spline planner が軌道生成、事前学習済み RL policy がモータ指令へ追従。 - 制御された屋内空間で 15 回のオンボード飛行を実施。

- 従来の end-to-end 空中 policy は grounding・planning・control を 1 つのネットワークに融合し、観測性と安全チェックを犠牲にする。 - 本手法はモジュール型スタックを維持し、各段階を検査可能にすることで単段エラーの切り分けを容易にする。 - 限られた計算資源を共有しながら完全オンボードで動作する点が特徴。

- 量子化 VLM により指示文を粗い画像セルに接地。 - depth 情報を用いてそのセルを 3D ゴールへ変換。 - 高速 B-spline planner が実行可能な軌道を生成。 - 事前学習済み reinforcement learning policy が軌道を追従し、複数の quadrotor に共通のモータ指令を出力。 - 各段階を分離し、オンボード知覚ゲーティング下で衝突回避を図る。

- 制御された屋内空間で 3 つの日常的参照物に対し 15 回のオンボード飛行を実施。 - 15 回中 13 回で目標到達、平均ゴール誤差 5.72 cm、平均 GPU 使用率 39.3%。 - 追加で clutter 環境 6 回の試行を行い、オンボード知覚ゲーティング下で衝突のない軌道追従を確認。

- 単段エラーの切り分けが難しい飛行中において、モジュール型スタックの観測性・安全チェックの利点を主張。 - 限られた計算資源で grounding・planning・control を共有する難しさに言及。 - 具体的な失敗事例や限界、議論の詳細は要旨からは不明。

- 要旨で参照・比較されている研究は明示されていない。 - 関連手法として end-to-end aerial policy、Vision-Language Navigation (VLN)、quantized VLM、B-spline planner、reinforcement learning policy が挙げられる。 - 同分野の定番として modular robotics stack、aerial VLN、onboard perception に関する研究を読むとよい。