MATE4D: 単一画像から編集可能な4Dコンテンツを生成する行列誘導フレームワーク

- 単一画像から編集可能な動的4Dコンテンツを生成するフレームワークMATE4Dを提案。 - 時空間マルチビュー画像行列を構築し、テキスト誘導の背景操作を加える。 - 合成観測を用いて3D Gaussian primitivesを最適化し、軽量変形モジュールでアニメーション化して4D表現を形成。 - AR/VRコンテンツ作成への応用を想定。

- 単一画像からの4D生成は構造的手がかりと動きの証拠が限られ困難。 - 提案法は時空間マルチビュー画像行列により視点・外観・動きに一貫した監督を提供。 - 結果として幾何形状をより忠実に保ち、時間的挙動が滑らかで、背景編集の一貫性が高い。 - コンテキストの曖昧さとモーションアーティファクトを低減。 - Objaverse-XLとDiffusion4Dでの実験で、視覚品質・効率・制御性において強いベースラインを上回る。

- 入力画像から時空間マルチビュー画像行列を構築。 - テキスト誘導による背景操作を組み込む。 - 合成された観測を監督信号として3D Gaussian primitivesを最適化。 - 軽量変形モジュールでアニメーション化し4D表現を生成。 - 視点・外観・動きの一貫性を実現。

- Objaverse-XLとDiffusion4Dのデータセットで実験。 - 視覚品質、効率、制御性の指標で強いベースラインと比較。 - MATE4Dが優位であることを示す。

- 単一画像からの4D生成における構造的手がかりと動き証拠の不足を指摘。 - 提案法が幾何忠実性、時間的滑らかさ、背景編集の一貫性を改善し、曖昧さとアーティファクトを低減。 - AR/VRコンテンツ作成への実用性を示唆。 - 限界や今後の課題については要旨からは不明。

- Objaverse-XL - Diffusion4D - 3D Gaussian Splatting - 4D生成の関連手法（要旨で具体的な比較手法名は明示されていないため、上記データセットと基盤技術を挙げる）