パペッティア：物体接地・姿勢認識型の共話ジェスチャ生成

Puppeteerは、音声に合わせたジェスチャ生成（co-speech gesture generation）において、身体の姿勢制約と周囲の物体との接地（object grounding）を考慮した拡散モデルを提案する。従来の手法は音声とジェスチャの対応に焦点を当てていたが、物体や姿勢を明示的に扱っていなかった。Puppeteerは、長いジェスチャを構造化プリミティブに分解し、因果的変分オートエンコーダ（causal VAE）で時間順序の潜在トークンに符号化する。この潜在空間で、音声信号、動作履歴、初期姿勢参照、物体形状を条件として拡散を行い、物理的に一貫したジェスチャを合成する。また、新しい評価指標と、物体接地ジェスチャ生成のための合成3DデータセットSceneGesを導入する。

先行研究の音声駆動ジェスチャ生成モデルは、音声とジェスチャの対応（audio-gesture alignment）を重視するが、姿勢制約や周囲の物体を明示的に考慮せず、身体ジェスチャと物理空間の相関を捉えられなかった。Puppeteerは、因果的潜在空間での拡散により、時間的順序を保ちながら、初期姿勢と物体形状を条件として組み込むことで、物体接地と姿勢認識を実現した点が新しい。さらに、ジェスチャの中間補間（in-betweening）や補完（completion）といったタスクを可能にする時間的制御を提供する。

手法の核心は、長いジェスチャを構造化プリミティブに分解し、因果的変分オートエンコーダ（causal VAE）で時間順序の潜在トークンに符号化すること。各トークンは過去のみに依存する。次に、この因果的潜在空間で条件付き拡散を実行する。条件は、音声信号、動作履歴、初期姿勢参照、物体形状。これにより、時間的順序を明示的に制御でき、ジェスチャの中間補間や補完が可能になる。

実験では、既存の評価指標に加えて、このタスクに特化した新しい評価指標を導入し、Puppeteerが従来手法よりも多様で時間的に同期したジェスチャを生成することを示した。また、物体接地ジェスチャ生成を可能にするため、合成3DデータセットSceneGesを作成し、これを用いて評価した。具体的な数値や比較対象は要旨からは不明。

要旨からは、議論の余地として、合成データセットSceneGesが実際の人間の動作をどの程度反映しているか、実世界のシーンでの汎用性、評価指標の妥当性などが考えられるが、要旨には明示されていない。また、因果的潜在空間の表現力や、拡散モデルの計算コストなども議論の対象となりうるが、要旨からは不明。

要旨で参照されている先行研究は、音声駆動ジェスチャ生成モデル（speech-driven gesture models）であり、具体的な論文名は不明。関連手法として、拡散モデルによる動作生成（diffusion-based motion generation）、変分オートエンコーダによる動作表現学習（VAE-based motion representation）、物体とのインタラクションを考慮した動作生成（object-aware motion generation）などが挙げられる。次に読むべき論文は、これらの分野の代表的な研究が考えられるが、要旨からは特定できない。