日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

音声動作生成arXiv:2611.21530

DuoFlow: 細粒度制御による音声と動作の同期生成

DuoFlow: Towards Synchronized Speech and Motion Generation with Fine-Grained Control

シェア:XThreadsFacebookLINEはてブBluesky

音声と身体動作を同時に生成するデュアルストリーム拡散トランスフォーマーDuoFlowを提案し、動作階層や体の部位、声質を細かく制御できるようにした。

詳しい要約

1. どんなもの?

- DuoFlow は、音声(speech)と身体動作(motion)を同時に生成する joint speech-motion generation モデル。 - 発話内容だけでなく声のスタイル(voice style)と動作階層・身体部位を明示的に制御できる点を狙う。 - 学習・評価用に MotionSpeech という構造化ベンチマークも構築。 - transcript、voice-style descriptions、2階層の motion conditions を含む。 - 出力は高品質で同期の取れた instruction-consistent な speech-motion 系列。

2. 先行研究と比べてどこがすごい?

- 既存の joint speech-motion 生成は transcript の意味や中間 speech 表現に暗黙的に駆動され、制御性が低い。 - 従来は motion hierarchy、body parts、vocal style への明示的制御がほぼ無い。 - DuoFlow は fine-grained motion と vocal-style の統一インタフェースを提供。 - 音声と動作を共有ノイズレベル・統一時間座標で同時に denoise する点が新しい。 - MotionSpeech により制御可能な joint 生成の構造化ベンチマークを整備。

3. 技術・手法の肝は?

- dual-stream latent flow transformer で speech と motion を joint denoising。 - 両モダリティで shared noise level と unified second-based temporal coordinate を共有。 - modality-specific residual connectors が構造化条件を各ストリームへ注入。 - layer-wise bidirectional cross-modal attention で相互生成を調整。 - monotonic phoneme pathway が normalized progress anchors と CTC supervision を組み合わせ、speech の時間モデリングを強化。

4. どうやって有効だと検証した?

- MotionSpeech ベンチマーク上で評価。 - 高品質・同期・instruction-consistent な speech-motion 系列を合成できることを示す。 - 具体的な評価指標・被験者実験・比較手法の詳細は要旨からは不明。 - fine-grained motion と vocal-style 制御の有効性を定性的/定量的に確認したと読めるが、個別の検証設計は要旨からは不明。

5. 議論はある?

- 明示的制御の粒度(motion hierarchy、body parts、vocal style)をどこまで扱えるかの限界は要旨からは不明。 - 音声と動作の同期品質や instruction consistency の定量評価の詳細は要旨からは不明。 - データセット依存性や実環境への汎化、リアルタイム性への議論は要旨からは不明。 - CTC supervision や cross-modal attention の寄与度分析は要旨からは不明。

6. 次に読むべき論文は?

- MotionSpeech ベンチマークの詳細と構築方法を確認する論文/資料。 - joint speech-motion generation の暗黙制御型の先行モデル(transcript や intermediate speech 表現に基づく手法)。 - flow matching / latent flow transformer 系の生成モデル。 - CTC supervision を用いた音声時間モデリングの関連研究。 - cross-modal attention による音声-動作同期生成の関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jun Dong, Ronghui Li, Zhongyuan Hu, Yunqi Zhao, Lijie Guo, Ruizhang Xu, Di Kang, Linchao Bao, Xiu Li

分類: cs.CV

原文アブストラクト

An embodied speaker's expressiveness depends not only on what is said, but also on how the voice sounds and how the body moves. However, existing joint speech-motion generation models are largely driven implicitly by transcript semantics or intermediate speech representations, offering little explicit control over motion hierarchy, body parts, or vocal style. To bridge this gap, we construct MotionSpeech, a structured benchmark for controllable joint speech-motion generation that includes transcripts, voice-style descriptions, and motion conditions at two hierarchical levels. Building on this benchmark, we propose DuoFlow, a dual-stream latent flow transformer that jointly denoises speech and motion under a shared noise level and a unified second-based temporal coordinate. Modality-specific residual connectors inject structured conditions into the corresponding streams, layer-wise bidirectional cross-modal attention coordinates their generation, and a monotonic phoneme pathway combines normalized progress anchors with CTC supervision to strengthen speech temporal modeling. DuoFlow provides a unified interface for fine-grained motion and vocal-style control and demonstrates the ability to synthesize high-quality, synchronized, and instruction-consistent speech-motion sequences.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI