日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
ジェスチャー生成arXiv:2609.21576

GestureFAR: フロー自己回帰によるストリーミング音声同期ジェスチャー生成

GestureFAR: Streaming Co-Speech Gesture Generation with Flow Autoregression

シェア:XThreadsFacebookLINEはてブBluesky

連続的なモーション潜在表現を自己回帰的に生成し、フロー蒸留で高速化することで、リアルタイムに音声と同期した自然なジェスチャーを生成する手法を提案。

詳しい要約

1. どんなもの?

- ストリーミング音声からの co-speech gesture 生成を目的とした **GestureFAR** を提案 - 話者が発話中にリアルタイムでモーションを生成する embodied conversational agents 向け - flow-autoregressive な枠組みで、causal な連続 motion latents を自己回帰生成 - transformer で streaming audio-motion context をモデル化 - per-token flow-matching head で次 latent を連続分布からサンプリング - head-only flow distillation により multi-step flow head を単一評価へ蒸留 - BEAT2 で評価し、streaming 可能な手法の中で quality-latency trade-off を改善

2. 先行研究と比べてどこがすごい?

- 従来の streaming gesture システムは discrete motion tokens を自己回帰し、online 生成を可能にした - しかし discrete codebook への圧縮は高次元連続モーションの realism と diversity を制限しうる - GestureFAR は連続 motion latents を自己回帰することで causality と continuous expressiveness を両立 - per-token flow-matching head により連続分布から次 latent をサンプリング - head-only flow distillation で token-causal を保ちつつ live interaction の主な latency bottleneck を除去 - BEAT2 上で streaming-capable 手法間の quality-latency trade-off を有意に改善

3. 技術・手法の肝は?

- causal continuous motion latents 上の flow-autoregressive framework - transformer が streaming audio-motion context をモデル化 - per-token flow-matching head が次 latent を連続分布からサンプリング - head-only flow distillation strategy を導入 - causal backbone を凍結 - multi-step per-token flow head を consistency と distribution-matching 目的で単一 network evaluation に蒸留 - これにより token-causal を維持しつつ latency を削減 - 詳細な architecture や training 設定は要旨からは不明

4. どうやって有効だと検証した?

- BEAT2 データセットで実験 - streaming-capable な手法間で quality-latency trade-off を比較 - GestureFAR が gesture quality を保ちつつ real-time token-causal generation を可能にすることを示す - 具体的な評価指標やベースライン、統計的検証の詳細は要旨からは不明

5. 議論はある?

- discrete motion tokens による従来 streaming 手法の realism/diversity 制限を指摘 - 連続 latent の自己回帰と flow-matching で causality と expressiveness を両立 - flow distillation により latency bottleneck を除去できると主張 - ただし distillation による品質劣化や多様性への影響、他データセットへの汎化、計算コストの詳細は要旨からは不明 - 倫理的・社会的影響や限界についての議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている streaming gesture 手法(discrete motion tokens を自己回帰する既存研究) - flow matching を用いた生成モデル - consistency distillation / distribution matching 関連研究 - BEAT2 データセットを用いた co-speech gesture generation 研究 - 具体的な論文名は要旨に明記されていないため、上記の関連手法・データセットを次に読む候補とする

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pinxin Liu, Haiyang Liu, Jiahao Luo, Junhua Huang, Chunhao Zou, Luchuan Song

分類: cs.CV, cs.GR, cs.HC

原文アブストラクト

Generating natural co-speech gestures from streaming speech is essential for embodied conversational agents, where motion must be produced while a user is still speaking. Recent streaming gesture systems make online generation possible by autoregressing over discrete motion tokens, but this design compresses high-dimensional continuous motion into finite codebooks and can limit the realism and diversity of generated gestures. To preserve both causality and continuous expressiveness, we propose \textbf{GestureFAR}, a flow-autoregressive framework for streaming co-speech gesture generation. First, GestureFAR autoregresses over causal continuous motion latents, using a transformer to model streaming audio-motion context and a per-token flow-matching head to sample the next latent from a continuous distribution. Second, we introduce a head-only flow distillation strategy that freezes the causal backbone and distills the multi-step per-token flow head into a single network evaluation using consistency and distribution-matching objectives. This keeps the model token-causal while removing the main latency bottleneck for live interaction. Experiments on BEAT2 show that GestureFAR significantly improves the quality--latency trade-off among streaming-capable methods, preserving strong gesture quality while enabling real-time token-causal generation. Project Page: https://andypinxinliu.github.io/GestureFAR

関連論文

PR本紙発行元 EmplifAI