HorizonNav: 幾何学誘導ビデオ拡散による予測型3Dロボットナビゲーション

- 単一のRGB画像とテキストプロンプトから、周囲の3D空間を予測的に再構成し、ロボットナビゲーションに利用するフレームワーク。 - ビデオ拡散モデルを用いて将来の観測を生成し、単眼SLAMと深度推定を組み合わせて3D環境を再構成する。 - 再構成された3D環境内でRRTプランナーによるナビゲーション計画を評価する。

- 従来のビデオ拡散モデルによる生成では、時間的一貫性だけでは解決できない幾何学的な不整合が生じる。 - 提案手法は、カメラポーズと三角測量された視覚ランドマークを組み合わせた幾何誘導深度アライメント段階を導入し、多視点間の密な深度予測を制約する。 - これにより、再構成された3D環境の幾何学的整合性が向上し、ナビゲーション計画の成功率が改善する。

- 視覚言語モデルがシーンを解釈し、ビデオ拡散モデル用の構造化プロンプトを生成する。 - 生成されたビデオシーケンスから、単眼ORB-SLAM3でカメラポーズを推定し、Video Depth Anythingで密な深度を予測する。 - 幾何誘導深度アライメント段階で、推定カメラポーズと三角測量された視覚ランドマークを組み合わせ、多視点にわたる深度予測を制約する。

- 想像された3D環境でのナビゲーション実験：19シーンのホライズン研究で、計画可能なシーンがP20で13/19からP81で15/19に増加。RRT試行の成功が62/90から75/90に増加。 - 別のコリドー研究：評価可能な生成カメラ軌跡25件中6件が再構成された衝突制約に違反。RRTプランナーはそのうち5件で実行可能な代替案を回復。 - 大規模アーカイブ：67件の試行から58件の使用可能な再構成。うち36件が下流の計画をサポートし、22件はサポートしない。再構成と自由空間の失敗モードを明らかにした。 - 15件のコリドー再構成で、一致する構造的ランドマークにおける平均再構成誤差は約0.30 m。

- 再構成と自由空間の失敗モードが存在し、それらを隠さずに明らかにしている。 - 生成されたカメラ軌跡が衝突制約に違反する場合があるが、RRTプランナーが多くの場合で回復可能。 - ライダーなしでの再構成の限界と、幾何学的整合性の課題が議論の余地として残る。

- 要旨で参照されている研究：ORB-SLAM3、Video Depth Anything、RRTプランナー。 - 関連手法：ビデオ拡散モデル、視覚言語モデル、単眼深度推定、幾何誘導アライメント。 - 同分野の定番：SLAM、ナビゲーション計画、3D再構成。