統一動的顔ランドマーク検出に向けて

本論文は、顔ランドマーク検出（FLD）の機能的な制限、すなわちN点ベンチマークデータセットごとに異なるネットワークパラメータを訓練する必要があることと、N点データセットで訓練されたモデルがN個のランドマークのみを出力すること、に対処する統一動的FLD手法を提案する。提案手法は、各ランドマークを顔パーツの輪郭に沿った0から1の進行値として表現するFace Part-Anchored Landmark Positions (FPALPs)を導入し、異なるデータセットのランドマークを統一形式で表現する。さらに、FPALPベースのクエリを用いてクロスモダリティデコーダで段階的に精緻化し、最終表現から座標を予測する。これにより、単一モデルで複数のN点データセットを学習でき、実行時に指定したランドマーククエリを読み込むことで任意の数のランドマークを予測できる。

従来のFLD手法は、特定のN点データセットに特化しており、データセット間のランドマーク定義の違いを考慮せず、モデルの汎用性や柔軟性に欠けていた。提案手法は、FPALP表現により異なるデータセットのランドマークを統一し、単一モデルで複数データセットを学習可能にした点、および実行時にクエリを切り替えることで任意の数のランドマークを動的に予測できる点が革新的である。これにより、データセットごとにモデルを再訓練する必要がなくなり、パイプラインが簡素化される。

手法の核は2点。(1) FPALP表現：各ランドマークを顔パーツの輪郭上の開始点(0)から終了点(1)への進行値として定義し、データセットに依存しない統一表現を実現。(2) FPALPベースのクエリを用いた動的予測：各ランドマークをクエリとして表現し、クロスモダリティデコーダ（おそらくTransformerベース）で段階的に精緻化し、最終的な特徴表現から座標を回帰する。これにより、モデルは複数データセットのランドマークを同時に学習でき、推論時には必要なランドマークのクエリのみをロードして予測する。

複数のベンチマークデータセット（具体的な名称は要旨に明記されていない）で広範な実験を実施し、提案手法が既存の最先端手法と競合し、いくつかのケースではそれらを上回る性能を示した。また、単一モデルで複数のN点データセットを学習できること、および任意の数のランドマーク予測が可能であることの利点を実証した。

要旨からは、提案手法の限界や潜在的な問題についての議論は明示されていない。ただし、FPALP表現が顔パーツの輪郭に依存するため、輪郭の定義が曖昧な場合や、ランドマークが輪郭上にない場合（例えば内部の点）には適用が難しい可能性が考えられるが、要旨には記載がない。また、クロスモダリティデコーダの詳細や、動的クエリの学習方法についての詳細は不明。

要旨で参照されている先行研究や関連手法は明記されていないが、FLD分野の定番手法として、Sandwich NetworkやWing Loss、Adaptive Wing Loss、あるいはTransformerベースの顔ランドマーク検出（例えば、Face Landmark Transformer）などが考えられる。また、FPALP表現は顔パーツ分割（face parsing）と関連する可能性があり、顔パーツセグメンテーションの研究も関連する。具体的には、要旨で言及されている「cross-modality decoder」は、おそらく画像特徴とクエリの融合を指すため、DETRのような物体検出のクエリベース手法も関連する。