音に基づく複数人物の3D姿勢推定

本論文は、音響信号のみを用いて複数人の3Dポーズを推定する初の試みであるSoundMHPE (Sound-based Multi-person Human Pose Estimator)を提案している。複数人の音響信号は重畳し、個人のポーズに対応する信号変化の分離が困難である。また、人物間の反射による伝搬遅延が時間的運動-音響関係を曖昧にする。SoundMHPEは、Acoustic Multi-scale EncoderとTemporal Pose Decoderからなるencoder-decoderフレームワークで、これらの課題に対処する。

先行研究では単一人物の音響ベースのポーズ推定が主であり、複数人への拡張は未解決だった。複数人では音響シグネチャの重なりや相互反射が新たな課題となる。本論文は、これらの課題に取り組み、複数人の3Dポーズ推定を音響のみで行う最初の研究である点が新しい。

手法の核は2つのコンポーネントにある。1) Acoustic Multi-scale Encoderは、複雑な重畳信号から微妙な音響シグネチャを分離するために、多様な時間的および周波数特徴を捉える。2) Temporal Pose Decoderは、attention機構を用いて連続フレーム間の複数人情報を分離し、時間的ダイナミクスと人物間依存性を考慮してフレームごとの個別ポーズを再構築する。

検証には、6時間のAcoustic Multi-person Pose (AMP)データセットを構築し、432Kの同期フレームの複数人ポーズと音響データを含む。このデータセットを用いて、SoundMHPEがベースラインモデルを上回る性能を示した。

要旨からは、提案手法の限界や議論点は明示されていない。ただし、複数人の音響ポーズ推定は難しく、データセットの規模や実環境での性能などが今後の課題となる可能性があるが、要旨からは不明。

要旨で参照されている先行研究は明示されていないが、関連する分野として、単一人物の音響ベースのポーズ推定に関する研究や、複数人の視覚ベースの3Dポーズ推定手法が挙げられる。具体的には、音響信号を用いた人間のポーズ推定の既存研究や、複数人3Dポーズ推定のための視覚的手法（例: multi-person 3D pose estimation）が関連する。