ManifoldSplat: 言語ガイドによる3Dガウシアンヘッドアバターの意味的形状編集

- 単眼動画から再構成した animatable 3D Gaussian Splatting ヘッドアバターに対し、自然言語で局所的な形状編集を行う初の end-to-end フレームワーク。 - 編集を非構造な Gaussian cloud 上で直接行わず、構造化された FLAME manifold 内で実行する。 - これにより identity と animation を厳密に保持する。 - 約90秒で再構成・編集し、consumer GPU で約800 FPS 描画。

- 従来の text-driven 手法は fine-grained な局所制御が難しく、特徴が絡み合い幾何的一貫性を欠く。 - 自然言語による形状変更は per-prompt 最適化が遅く、identity や rigging を損なうことが多い。 - 本手法は FLAME manifold 内で編集し、identity と animation を厳密に保持。 - 局所的な prompt alignment、幾何的一貫性、identity 保持で新たな state-of-the-art を達成。

- 編集を構造化された FLAME manifold 内で行い、非構造な Gaussian cloud を直接最適化しない。 - DeltaRegion を導入：領域ごとに disentangle された Conditional Variational Autoencoder (CVAE) が feedforward で shape delta を出力。 - さらに refining stage により view-consistent な詳細を復元。 - これらを組み合わせ、単眼動画から再構成した animatable 3D Gaussian Splatting アバターを編集。

- Extensive evaluations を実施し、局所的な prompt alignment、幾何的一貫性、identity 保持で新たな state-of-the-art を示した。 - 約90秒で再構成・編集、consumer GPU で約800 FPS 描画という性能も報告。 - 具体的なデータセット名や評価指標は要旨からは不明。

- 要旨からは不明。 - 限界や失敗ケース、議論の詳細には言及されていない。

- 要旨で参照・比較されている研究は明示されていない。 - 関連手法として 3D Gaussian Splatting、FLAME、Conditional Variational Autoencoder (CVAE)、text-driven manipulation が挙げられる。 - 同分野の定番として 3D Gaussian Splatting や FLAME ベースの head avatar 研究を次に読むべき。