空間オーディオからのストリーミング人間動作生成

- Spatial Audio から人間の動作を streaming 生成する初の枠組み Sonic-AMG を提案。 - 音響内容と身体相対の音源幾何を別々の token として符号化。 - causal transformer と flow head で連続 motion latent を生成し、causal decoder で motion segment を再構成。 - リアルタイム online 生成を可能にし、SAM で SOTA の FID と R-precision を達成。

- 従来は完全な音響・空間入力列から offline で動作生成していた。 - 人間は次に何を聞くか知らずに反応する点を考慮し、streaming 設定を初めて扱う。 - 音響内容と身体相対音源位置を分離 token 化する点が新しい。 - 学習と推論の不一致を rehearsal training と spatial feedback で緩和。

- acoustic content と body-relative source geometry を別 token として符号化。 - causal transformer + flow head で連続 motion latent を生成、causal decoder で motion segment を再構成。 - teacher-forced 学習では motion 履歴と身体相対音源位置を正解 motion から導出。 - streaming 推論では生成 motion に依存するため不一致が生じる。 - rehearsal training: 全系列 teacher-forced 監督と短い自己回帰 self-rollout の監督を組み合わせ。 - spatial feedback: 学習・推論中に生成 root pose から身体相対音源位置を再計算。

- SAM データセットで評価し、FID と R-precision で state-of-the-art を達成。 - 音事象と音源位置をまたぐ coherent な反応のリアルタイム online 生成を実証。 - 詳細な比較実験や ablation は要旨からは不明。

- 学習と推論の不一致(history discrepancy)を rehearsal training で低減。 - 空間条件と生成 motion の整合を spatial feedback で維持。 - 限界や失敗例、計算コスト、リアルタイム性の定量評価は要旨からは不明。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として offline な spatial audio からの motion generation、streaming motion generation、causal transformer、flow matching、autoregressive self-rollout などが挙げられる。 - 同分野の定番として human motion generation の FID/R-precision 評価や SAM データセット関連論文を読むとよい。