蒸留不要：非因果ノイズ整形による単一パス実時間トーキングヘッド

- 音声駆動の顔アニメーションをリアルタイムで生成する手法。 - 各フレームを現在までの音声からオンラインで生成し、対話的な速度で動作。 - 拡散モデルではなく、単一パスのGANで生成。 - 音声条件付き顔運動は低次元多様体上にあると主張。 - 因果的で時不変な生成器がi.i.d.ノイズで駆動される場合、出力スペクトルを帯域で抑制すると各ステップのイノベーションが崩壊する問題を、ノイズ経路を非因果的に整形することで解決。 - 音声から表情への経路は因果的で、完全に因果的な操作が可能。 - 表情と頭部姿勢を1フレームあたり1回の順伝播で出力。 - 生成品質は最先端手法と同等以上。 - フィードフォワードで有界なアテンションウィンドウを持つため、ドリフトなしで無限に生成可能。

- 最近の進歩は拡散モデルが主流だが、サンプルあたり多数のネットワーク評価が必要でストリーミングに不向き。 - 本研究は拡散モデルのコストはこの領域では不要と主張。 - 単一パスのGANで十分であり、生成品質で最先端手法に匹敵または上回る。 - 因果的・時不変生成器の理論的限界を指摘し、非因果的ノイズ整形で克服。 - フィードフォワードで有界アテンションのため、ドリフトなしで無限生成可能。

- 音声条件付き顔運動は低次元多様体上にあり、単一パスGANで十分。 - 因果的・時不変生成器がi.i.d.ノイズで駆動される場合、出力スペクトルを帯域で抑制すると各ステップのイノベーションが崩壊することを示す。 - ノイズ経路を非因果的に整形（acausal noise shaping）することでこの制限を解消。 - 駆動ノイズは合成なので未来を現在サンプリング可能。 - 音声から表情への経路は因果的で、完全に因果的な操作をサポート。 - 表情と頭部姿勢を1回の順伝播で出力。 - フィードフォワードで有界なアテンションウィンドウ。

- 生成品質において最先端手法と同等以上であることを示した。 - フィードフォワードで有界アテンションウィンドウのため、ドリフトなしで無限に生成可能であることを確認。 - 具体的なデータセットや評価指標は要旨からは不明。

- 拡散モデルのコストはこの領域では不要であると主張。 - 因果的・時不変生成器の理論的限界を指摘し、非因果的ノイズ整形で克服。 - 完全に因果的な操作が可能で、リアルタイムアバター、テレプレゼンス、身体化仮想エージェントに適する。 - 具体的な議論や限界は要旨からは不明。

- 拡散モデルに基づく音声駆動顔アニメーション手法（例: diffusion-based talking head generation）。 - GANベースの音声駆動顔アニメーション手法（例: GAN-based talking head generation）。 - リアルタイム音声駆動アバター生成に関する研究。 - ノイズ整形や非因果的生成に関する理論的研究。