TADreamer: ビデオ想像による陸空二モードロボットのゼロショット言語誘導3Dナビゲーション

- 陸空両用の bimodal robot 向けに、言語指示で3Dナビゲーションをゼロショットで行う TADreamer を提案。 - 生成 video を想像し、その video から3D waypoint と terrestrial/aerial の locomotion mode を復元。 - タスク特異的な training や fine-tuning を必要としない。 - VLM が onboard 観測と指示を navigation prompt に変換し、有効な生成 video を選択。 - 必要に応じて再生成のための corrective feedback も与える。 - 選択 video を3D waypoint に再構成し、mode ラベルを付与。 - 2段階 calibration で scale と geometry を実測に合わせ、planner が実行。

- 生成 video を用いる navigation は scale ambiguity と軸依存の幾何歪みのため、metric に一貫した参照を得るのが困難だった。 - TADreamer は video imagination を measured geometry に接地し、zero-shot で実現。 - タスク特異的な training/fine-tuning が不要。 - 比較対象の NavDreamer に対し、calibration 観測で mean absolute depth error を87.7%、mean absolute relative depth error を86.3%削減。 - 7つの indoor/outdoor シナリオで、1ラウンドあたり5候補から2ラウンド以内に使用可能な video を取得。

- VLM が onboard 観測と指示から navigation prompt を生成し、生成 video を選択。 - 不適切な場合は corrective feedback を与えて再生成。 - 選択 video を3D waypoint に再構成し、terrestrial/aerial の mode を注釈。 - 2段階 calibration: まず field-of-view 制約で scale 推定を初期化。 - 次に再構成 point cloud を measured geometry に registration し、軸依存 scale、rotation、translation を refinement。 - 校正済み waypoint と mode ラベルを planner に渡し、measured geometry を組み込んで robot が実行。

- 実世界実験で7つの indoor/outdoor シナリオのナビゲーションを実施。 - 各ラウンド5候補の video から、全7シナリオで2ラウンド以内に使用可能な video を取得。 - calibration 観測において、NavDreamer と比較して mean absolute depth error を87.7%、mean absolute relative depth error を86.3%削減。 - これにより video 想像から metric に一貫した navigation 参照を得る有効性を検証。

- 生成 video の scale ambiguity と軸依存の幾何歪みが課題として挙げられている。 - 2段階 calibration でこれに対処しているが、限界や失敗ケースの詳細は要旨からは不明。 - 7シナリオで2ラウンド以内に使用可能 video が得られたが、候補数や再生成回数の影響は要旨からは不明。 - 実世界実験の規模や多様性、計算コスト、リアルタイム性は要旨からは不明。

- NavDreamer（要旨で比較対象として明示） - vision-language model を用いた language-guided navigation 関連研究 - video generation を用いた navigation 関連研究 - point cloud registration や calibration 関連研究 - terrestrial-aerial bimodal robot のナビゲーション関連研究