オンボード軽量LLM推論による人を意識した安全なUAVナビゲーション

- 本研究は、UAVが人々の近くで安全にナビゲーションするための、完全オンボードのモジュール型パイプラインを提案する。 - 視覚観測から文脈依存の安全制約を生成し、歩行者、駐車車両、壁などを区別して扱う。 - 従来の知覚・計画スタックでは、これらがすべて占有幾何として扱われ、人間を考慮した安全ギャップが存在した。 - このギャップを埋めるため、BLIPエンコーダ、テキスト条件付きセグメンテーション、深度融合、軽量LLM（Qwen-2.5-0.5B）を組み合わせる。 - リアルタイムで動作し、Jetson Orin NX上で10Hzの知覚パイプラインを実現する。

- 従来の知覚・計画スタックは、歩行者、駐車車両、壁をすべて占有幾何として扱い、カテゴリ固有のクリアランスが計画器に提供されない。 - また、一時的なオクルージョンにより歩行者固有の制約が地図から失われる問題があった。 - 本研究は、カテゴリ固有の安全制約をリアルタイムで生成し、オクルージョン中も検出に永続的なIDを与えて地図に保持する。 - これにより、幾何学的計画器と比較して衝突イベントを約3倍削減し、意味論を考慮した着陸成功率を34%から96%に向上させた。

- 共有BLIPエンコーダがシーンキャプショニングとテキスト条件付きセグメンテーションを駆動し、深度と融合して3Dで障害物を定位する。 - 障害物固有のリスクは、軽量LLM（Qwen-2.5-0.5B）が推論する。 - LLMはretrieval-augmented generationと文法制約付きデコーディングで安定化され、出力を計画器互換のJSONスキーマに制限する。 - LLMはフレームごとではなくオブジェクトカテゴリごとに一度推論し、判定をクラスごとにキャッシュする。 - 既知カテゴリは推論なしで解決し、新規カテゴリは検索に基づくクエリをトリガーする。 - 検出には永続的なIDが与えられ、オクルージョン中も地図に保持される。 - フォールバックLLMクエリは約0.8秒で、制御クリティカルパスから外れている。

- Gazeboでの低高度都市ナビゲーションにおいて、歩行者と車両の間での衝突イベントが幾何学的計画器と比較して約3倍削減された。 - 移動するアクター間での意味論を考慮した着陸では、成功率が34%から96%に向上した。 - 知覚パイプラインはJetson Orin NX上で10Hzで動作し、LLMクエリは約0.8秒で制御クリティカルパスから外れている。 - 224ピクセルのエンコーダ入力は遠距離の小さな物体の知覚を制限するが、保守的な歩行者マージンと短期間の永続性でナビゲーション中の制限を緩和する。

- 224ピクセルのエンコーダ入力により、遠距離での小さな物体の信頼できる知覚が制限される。 - この制限は、ナビゲーション中に保守的な歩行者マージンと短期間の永続性によって緩和される。 - その他の議論や限界については要旨からは不明。

- 要旨で参照されている研究や関連手法は明示されていない。 - 同分野の定番として、BLIP、Qwen-2.5-0.5B、retrieval-augmented generation、grammar-constrained decoding、Gazebo、Jetson Orin NXなどが挙げられる。