熱画像におけるドローン検出のための合成データを用いた訓練

本論文は、地上から空中のドローンを検出するG2A (Ground-to-Air) タスクを、中波・長波赤外線 (MWIR/LWIR) 画像において扱う。赤外線画像はテクスチャ情報が乏しく、センサノイズや熱コントラストの低さ、注釈付きデータの不足などの課題がある。そこで、合成データで初期学習し、実データで微調整する「synthetic-first」トレーニング戦略を提案・調査している。合成データが初期の物体表現学習に有効である一方、実データによる微調整が実運用に不可欠であることを示す。

従来の研究では、合成データのみで学習するか、実データのみで学習することが多かったが、本論文は合成データと実データの組み合わせに焦点を当て、少量の実IRデータでもドメインギャップを大幅に削減できることを示した点が新しい。また、モデルスケールよりもデータセットのアラインメントが性能に強く影響するという知見を提供している。

手法の肝は、合成シーン生成と実データによる微調整を組み合わせたトレーニングパイプラインである。具体的には、まず合成データで物体表現の初期学習を行い、その後、実世界のIRデータで微調整する。さらに、データセットの特徴量空間における意味的アラインメントが性能の最強の予測因子であると分析し、放射測定特性（エントロピーやダイナミックレンジ）も検出ロバストネスに寄与することを示している。

実験により、合成データのみの場合と比較して、少量の実データを追加することで性能が大幅に向上することを確認した。また、データセットのアラインメントがモデルスケールよりも性能に与える影響が大きいことを示し、特徴量空間の意味的アラインメントが性能予測に有効であることを検証した。

議論としては、合成データは初期学習に有効だが、実データの重要性が強調されている。また、データセットのアラインメントが重要であるという発見は、今後のデータ収集や合成データ生成の指針となる。ただし、具体的なモデルアーキテクチャやデータセットの詳細、実験条件などは要旨からは不明である。

要旨で参照されている関連研究は明示されていないが、同分野の定番として、ドローン検出のための赤外線画像データセットや、合成データを用いたドメイン適応に関する研究が挙げられる。具体的には、"Drone detection in infrared imagery"や"Domain adaptation for object detection"などの論文が関連する。