MoDiff: 自己回帰拡散モデルによる制御可能なモーション合成を提案

何が起きたか

arXivに2023年4月3日付で公開された論文(識別番号2304.04681v1)において、研究チームは制御可能なモーション合成と再構成のための自己回帰確率拡散モデル「MoDiff」を発表した。MoDiffは、モーションシーケンスを他のモダリティの制御コンテキストに条件付ける自己回帰拡散モデルであり、クロスモーダルTransformerエンコーダとTransformerベースのデコーダを統合する。実験では、locomotionにおける制御可能なモーション合成で2つのベースラインに対して優れた性能を示したと報告している。

詳細

MoDiffは、過去の観測から多様なモーションを生成し、不完全なポーズを扱う課題に取り組む。論文では、モーションと制御モダリティの時間的相関を捉えるためにクロスモーダルTransformerエンコーダとTransformerベースのデコーダが有効であると述べている。また、拡散フォワードプロセスに基づく新しいデータドロップアウト手法を導入し、よりリッチなデータ表現とロバストな生成を実現する。この手法により、記録データに近い高忠実度のモーションのロバストな合成と再構成が可能になるとしている。

Key Facts

なぜ重要か

MoDiffは、制御可能なモーション合成と予測の分野において、拡散モデルと自己回帰アプローチを組み合わせた新しい手法を提案している。データドロップアウト手法により、不完全なポーズや多様な生成に対するロバスト性が向上し、インタラクティブメディアやソーシャルロボティクスへの応用が期待される。