ギリシャ伝統音楽のためのポーズ認識マルチモーダル自動タグ付け

- Greek traditional music を対象に、audio に加えて dancer pose を統合する multimodal automatic tagging を検討した研究。 - Lyra dataset を拡張し、aligned video features と pose-derived skeleton streams を抽出。 - in-the-wild の dance footage から primary-dancer skeleton sequences を自動抽出する pipeline も提案。 - unimodal、全 bimodal 組み合わせ、trimodal を複数の fusion strategies で比較。

- 従来の tagging は audio のみが主流で、live performance の visual/embodied cues を活用していない。 - Greek traditional music のような文化的に特定の repertoire は MIR benchmarks で過小代表。 - 先行の audio-only 研究を video features と pose-derived skeleton streams で拡張。 - skeleton は単独では弱いが、multimodal fusion で性能を向上させる点を示した。

- Lyra dataset を基に aligned video features と pose-derived skeleton streams を抽出。 - in-the-wild dance footage から primary-dancer skeleton sequences を自動抽出する pipeline を導入。 - pipeline は dance-scene detection、multi-person tracking、dancer selection、pose estimation、quality filtering を組み合わせる。 - unimodal、全 bimodal 組み合わせ、trimodal を複数の fusion strategies で比較。

- Lyra dataset 上で unimodal、bimodal、trimodal システムを比較評価。 - Audio が最強の単一 modality (AST: macro ROC-AUC 0.821)。 - Skeleton は単独では弱いが、multimodal fusion で性能を向上。 - 最良の trimodal system は最強 audio baseline より macro ROC-AUC を約 4 percentage points 改善。

- Audio が依然として最強の単一 modality である一方、skeleton は fusion を通じて補完的情報を提供。 - 文化的に特定の repertoire における multimodal tagging の可能性を示す。 - 限界や課題、今後の方向性についての詳細は要旨からは不明。

- 要旨で参照/比較されている研究: 先行の audio-only work、Lyra dataset を用いた研究。 - 関連手法: AST (Audio Spectrogram Transformer)、multimodal fusion strategies、pose estimation、multi-person tracking。 - 同分野の定番: Music Information Retrieval (MIR) における automatic tagging、multimodal music tagging。