ポーズ注意機構付き視覚ナビゲーションTransformer

- 深さキーフレームをカメラposeでインデックスした集合として文脈に持つtransformer planner。 - 名前はVNT-PA (Visual Navigation Transformer with Pose Attention)。 - 現在のposeとgoal位置だけをクエリに行動を予測する。 - point-goal navigationを対象とする。

- 従来は観測を時間順履歴として扱い、positional encodingが観測時刻に紐づくため経験の再利用が難しい。 - 経験再利用型はmapやtopological graphを明示構築しplanningする。 - VNT-PAはpose差に基づくattentionで、時間順やposeを入力特徴とするbaselineより性能・学習効率で優れる。 - 異なるtrajectoryのフレームをテスト時に融合可能。 - localization noise下で明示mapベースbaselineより緩やかに劣化。

- 文脈をcamera poseでインデックスされたdepth keyframesの集合として保持。 - camera poseをpositional encodingとし、attentionがkeyframe間のpose差に依存。 - 最短経路plannerを模倣するよう学習。 - 現在poseとgoal位置のみで空間文脈をクエリし行動予測。

- HM3D validation scenesのpoint-goal navigationで評価。 - 成功率93.3%、SPL 90.4%を達成。 - 同じ文脈を時間順に符号化するbaselineやposeを入力特徴とするbaselineと比較。 - ナビゲーション性能と学習効率の両方で上回る。 - localization noise下での劣化も比較。

- pose-stamped experienceが学習plannerの環境表現として直接使えることを示す。 - attentionを時間順でなくpose差に依存させると学習が速く長距離ナビゲーションが改善。 - 異なるtrajectoryのフレーム融合が可能。 - localization noiseへの頑健性。 - その他の限界や議論は要旨からは不明。

- 要旨で参照/比較されているのは、時間順履歴を符号化するbaseline、poseを入力特徴とするbaseline、明示map上でplanningするconventional baseline。 - 関連手法としてmap-based navigation、topological graph-based navigation、transformer-based navigation policy。 - 具体的な論文名は要旨からは不明。