重要視覚手がかりで動画計画を誘導する汎用ロボットナビゲーション

- 生成的な video model を backbone にしたロボットナビゲーションの枠組み CueNav を提案。 - 未来の観測を video plan として予測し、visual cue で誘導する。 - 具体的には Bird's-Eye View (BEV) map と、egocentric 観測に残したロボット身体の一部を cue として使う。 - 予測 video から抽出した dense flow field を、embodiment 固有の Inverse-Dynamics Model (IDM) で行動に変換する。 - 長期的計画と embodiment を意識した制御を目指す。

- 従来は短い horizon の guidance で video planning を条件付け、scene reconstruction で幾何的 waypoint を復元するものが多い。 - そのため長い horizon の planning と、video から行動への精密な変換は十分に検討されていなかった。 - CueNav は visual cue で global task context を符号化し、maze navigation で cue なし planning の約2倍の success を達成。 - body-aware view と IDM により、比較手法がほぼ失敗する narrow passage でも 70% の success を示す。 - 同一 video planner を異なる robot platform に展開できることも示す。

- video model による未来観測予測を navigation の backbone にする。 - visual cue として BEV map を与え、global task context を伝える。 - egocentric 観測にロボット身体の一部を残し、embodiment context を露出させる。 - これらの cue が video planner を誘導する。 - video plan から dense flow field を抽出し、embodiment 固有の IDM で robot action に翻訳する。

- maze navigation で、cue ありは cue なし planning より約2倍高い success を示す。 - narrow passage で 70% の success を達成し、比較手法はほぼタスクを完了できない。 - zero-shot semantic-conditioned navigation を実証する。 - 同じ video planner を異なる robot platform に展開できることを示す。 - 追加結果と code は project website で公開。

- visual cue による video planning と embodiment 固有の action grounding が、長い horizon の planning と embodiment を意識した制御への道を開く。 - 限界や失敗事例、計算コスト、cue 設計の一般性などは要旨からは不明。

- 要旨で参照・比較されている具体的な先行研究名は記載されていない。 - 関連手法として generative video model による video planning、scene reconstruction による waypoint 復元、Inverse-Dynamics Model (IDM)、Bird's-Eye View (BEV) map を用いた navigation が挙げられる。 - 同分野の定番として vision-language navigation や zero-shot navigation の研究を読むとよい。