音声とテキストから全身動作を生成する「CFGComposer」、Unitree G1で実機検証

何が起きたか

論文「CFGComposer: Compositional Audio-Text-to-Motion Generation via Copula Score Correction」が2026年11月11日にarXivで公開された。音声のリズムに同期し、テキストの意味にも沿う全身動作を生成する手法を提案し、BEATでSRGR 0.9916、FID 27.18、ビート整合性（BA）0.1826を報告した。論文は、Unitree G1でシミュレーションから実機への直接転移を確認したとしている。

詳細

手法は、独立に学習した音声条件付き・テキスト条件付きの拡散モデルを推論時に組み合わせる際、両モダリティーの相互作用を表すコピュラスコア s_I を推定し、ε空間で補正する。著者らは、単純なεブレンディングではこの相互作用が欠落すると説明している。CFGComposerは、CFG（classifier-free guidance）になぞらえて s_I を推定する、共同学習型のAudio-Text-to-Motion拡散モデルとして提示された。 BEATでのBAは0.1826で、論文が示す正解動作（GT）の0.1743に近い値だった。また、既存手法とのブラインド二者比較の人手評価で76〜83%の勝率を報告した。提示された要旨には、実機転移の条件や評価規模の詳細は記載されていない。

Key Facts

本紙の見方

この研究の焦点は、音声とテキストを単に別々の条件として動作生成器に与えるのではなく、両者が同時に指定されたときに生じる相互作用を推定対象にした点にある。著者らの説明では、独立学習した二つの拡散モデルを素朴にブレンドする方法は、各モダリティー単独の情報を組み合わせる一方、音声とテキストの関係を表すコピュラスコアを欠く。CFGComposerはこの欠落をε空間の補正で扱う。したがって新規性は、二つのモデルを併用すること自体より、併用時に失われる交差情報を推定して補う設計にある。 結果は複数の観点に分かれている。BEATでのSRGR 0.9916とFID 27.18は意味面の評価として示され、BA 0.1826はGTの0.1743と比較されている。さらに、人手によるブラインド比較では既存手法に対する勝率を76〜83%と報告した。これらは異なる評価であり、一つの数値だけで動作品質全体を代表させることはできない。特に、要旨からは人手評価の条件ごとの勝率の内訳や、各指標の測定条件までは読み取れないため、結果の適用範囲を判断するには本文の評価設定が重要になる。 実機についてはUnitree G1でシミュレーションから実機への直接転移を確認したとする。これは、生成した動作をシミュレーション上の結果だけで評価せず、実機への移行も検討したことを示す。ただし、要旨は転移時の調整の有無、実行した動作の範囲、成功率、実時間での処理条件を示していない。実機転移という記述だけから、異なるロボットや環境への汎用性、長時間の対話動作への適用までを推定することはできない。 次に確認すべきなのは、コピュラスコア補正がどの条件で単純なブレンディングを上回るか、評価データや音声・テキストの組み合わせを変えても同様の結果になるか、そして実機で安全に動作させるための制約や遅延がどう扱われたかである。これらが分かれば、音声に合わせた動きと指示内容に沿う動きを同時に求める用途で、補正機構がどの程度実用上の差を生むかを評価できる。

なぜ重要か

論文は、BEATでの指標と人手比較に加え、Unitree G1でのシミュレーションから実機への直接転移を報告している。音声のタイミングとテキストの意味を同時に動作へ反映する用途では、両条件の相互作用を補正する方式が、生成評価と実機実行の双方でどう働くかを検証する手掛かりとなる。