日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動作生成arXiv:2611.15101

CFGComposer:コピュラスコア補正による音声・テキストからの合成動作生成

CFGComposer: Compositional Audio-Text-to-Motion Generation via Copula Score Correction

シェア:XThreadsFacebookLINEはてブBluesky

音声とテキストから全身ジェスチャーを生成するため、2つの拡散モデルを推論時に合成し、コピュラスコアを補正項として注入する手法を提案。BEATで高精度な意味整合とビート同期を達成し、人型ロボットへの実機展開も確認。

詳しい要約

1. どんなもの?

- 音声とテキストから全身ジェスチャーを生成する Audio-Text-to-Motion (AT2M) 問題に取り組む研究 - リズム同期(音声)と意味整合(テキスト)を同時に満たす動作生成を目的とする - 推論時に独立学習済みの2つの diffusion model を合成する枠組みを扱う - 提案手法 CFGComposer は copula score $s_I$ を推定し補正する jointly-trained AT2M diffusion model - embodied AI や social robotics への応用を想定

2. 先行研究と比べてどこがすごい?

- 単純な epsilon blending は Product-of-Experts に対応し、copula score $s_I$ を欠落させることを理論的に示す - $s_I$ は audio と text の cross-modal interaction であり、どちらの marginal model も捉えられないと主張 - 提案手法はこの $s_I$ を CFG analogy で推定し $\epsilon$-space correction として注入 - BEAT 上で SRGR $0.9916$、FID $27.18$ の best-in-class な semantic fidelity - BA $0.1826$ (GT $0.1743$) の GT-level beat alignment を達成 - 先行手法すべてに対し blind pairwise human evaluation で 76-83% の win rate

3. 技術・手法の肝は?

- 独立学習済みの2つの diffusion model を推論時に合成する構成 - naive epsilon blending が Product-of-Experts となり copula score $s_I$ を欠落させる点を理論解析 - CFG analogy を用いて $s_I$ を推定する jointly-trained AT2M diffusion model を提案 - 推定した $s_I$ を $\epsilon$-space correction として注入し joint inference の bias を補正 - 詳細なアーキテクチャや学習手順は要旨からは不明

4. どうやって有効だと検証した?

- BEAT データセット上で実験を実施 - semantic fidelity を SRGR $0.9916$、FID $27.18$ で評価 - beat alignment を BA $0.1826$ (GT $0.1743$) で評価 - 全 prior methods に対する blind pairwise human evaluation で 76-83% の win rate - Unitree G1 humanoid への物理実装により sim-to-real transfer を確認

5. 議論はある?

- naive epsilon blending が copula score $s_I$ を欠落させるという理論的知見を提示 - cross-modal interaction を陽に補正することの重要性を示唆 - 限界や失敗事例、計算コスト、他データセットへの汎化性については要旨からは不明 - human evaluation の詳細な設定や被験者数は要旨からは不明

6. 次に読むべき論文は?

- Product-of-Experts に基づく diffusion model 合成の先行研究 - Classifier-Free Guidance (CFG) に関する基礎研究 - BEAT データセットを用いた audio-driven gesture generation の先行手法 - copula を用いた生成モデルのスコア補正に関する研究 - diffusion model の compositional generation に関する関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pengyang Shi, Jinlu Zhang, Chunze Lin, Yizhou Wang, Li Yi

分類: cs.SD, cs.AI

原文アブストラクト

Generating whole-body gestures that are simultaneously rhythmically synchronized with speech audio and semantically aligned with text descriptions is a fundamental challenge in embodied AI and social robotics. We tackle this Audio-Text-to-Motion (AT2M) problem by composing two independently-trained diffusion models at inference time and refine bias in joint inference by modeling the copula score $s_I$. A rigorous theoretical analysis reveals that naive epsilon blending corresponds to a Product-of-Experts formulation that omits the copula score $s_I$: the cross-modal interaction between audio and text that neither marginal model can capture. We propose CFGComposer: a jointly-trained AT2M diffusion model that estimates $s_I$ via a CFG analogy and injects it as an $ε$-space correction. Experiments on BEAT demonstrate best-in-class semantic fidelity (SRGR $0.9916$, FID $27.18$) with GT-level beat alignment (BA $0.1826$ vs. GT $0.1743$), and 76-83% win rate in blind pairwise human evaluation against all prior methods. Physical deployment on a Unitree G1 humanoid confirms direct sim-to-real transfer.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Hugging Face、ロボット学習基盤「LeRobot v0.7.0」を公開 対話操作と大規模データ学習に対応新製品・発表
  3. 3AGIBOTのG2 6台、上海のコンビニで24時間試験 1,730タスクを実施量産・展開
  4. 4Agility Robotics、ナスダックで取引開始 米国初の人型ロボット専業上場企業と報道業界動向
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術
PR本紙発行元 EmplifAI