動作生成2026/9/8arXiv:2609.08365

ReMoMask-2: 潜在検索拡張マスク動作生成

ReMoMask-2: Latent Retrieval-Augmented Masked Motion Generation

テキストから人間の動作を生成するタスクにおいて、検索拡張と階層的空間時間トポロジーを考慮した新しいフレームワークを提案し、生成品質と速度を向上させた。

詳しい要約

1. どんなもの？

ReMoMask-2は、テキストから人間の動作を生成するText-to-Motion (T2M)タスクのための、潜在空間での検索拡張生成(Retrieval-Augmented Generation)手法。従来のRAG-T2Mモデルの問題を解決するため、ReMoMask（構造認識型RAGフレームワーク）と、その改良版であるReMoMask-2を提案。ReMoMaskは、階層的双方向モメンタム(HBM)コントラスト学習、意味的時空間アテンション(SSTA)、トポロジー構造マスキング(TSM)を導入。ReMoMask-2は、検索データベースを生成器の事前量子化潜在空間に再構築し、蒸留された軽量プロジェクタでテキストクエリを整列させることで、生成器が検索された動作の意味内容を直接利用できるようにする。

2. 先行研究と比べてどこがすごい？

既存のRAG-T2Mモデルは、粗い粒度の検索と融合機構により、人間の動作の階層的・時空間的トポロジーを見落とし、検索された証拠が生成器の潜在空間とは異なる意味空間にあるという表現ギャップがあった。ReMoMaskは、HBM、SSTA、TSMにより構造認識の検索と融合を実現。ReMoMask-2は、検索データベースを生成器の潜在空間に直接構築することで表現ギャップを解消し、単一のmask-transformerステージでReMoMaskの2段階パイプラインを凌駕し、最速の推論を達成。

3. 技術・手法の肝は？

ReMoMaskは、HBMコントラスト学習でグローバルおよびパーツレベルの特徴をテキストと整列させ、SSTAでトポロジー認識の融合を行い、TSMで適応的マスキングによるロバストなパーツレベルの接地を強制。ReMoMask-2は、検索データベースを生成器の事前量子化潜在空間に再構築し、蒸留された軽量プロジェクタでテキストクエリを整列させる。これにより、生成器は検索された動作の意味内容を直接消費できる。

4. どうやって有効だと検証した？

HumanML3D、KIT-ML、SnapMoGenデータセットで広範な実験を実施。検索器は最先端の精度を達成し、ReMoMask-2はKIT-MLとSnapMoGenで最低のFIDを達成。さらに、単一のmask-transformerステージがReMoMaskの2段階パイプラインを上回り、最速の推論速度を示した。

5. 議論はある？

要旨からは、ReMoMask-2の単一ステージが2段階を上回る理由や、各コンポーネントの寄与の詳細、他のデータセットでの汎用性、計算コストと品質のトレードオフなどについての議論は不明。また、検索データベースの潜在空間再構築の具体的な実装や、蒸留プロジェクタの訓練方法の詳細も要旨からは不明。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、Retrieval-Augmented Text-to-Motion (RAG-T2M)の既存モデル、およびText-to-Motion生成のベースライン（例：Motion Diffusion Model、T2M-GPTなど）が考えられる。具体的な論文名は要旨に明記されていないため、同分野の定番手法を一般名で挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yiran Wang, Zeyu Zhang, Ling Shao, Hao Tang

分類: cs.CV

原文アブストラクト

Text-to-motion (T2M) generation maps natural language to human joint movements, aiding gaming, VR, and robotics. Retrieval-Augmented Text-to-Motion (RAG-T2M) improves generation on complex descriptions by conditioning on retrieved motion-text pairs. However, existing RAG-T2M models face two challenges: coarse-grained retrieval and fusion mechanisms overlook the hierarchical, spatial-temporal topology of human motion, and a representation gap exists because retrieved evidence resides in a semantic space separate from the generator's latents. To address the first, we present ReMoMask, a structure-aware RAG framework coupling Hierarchical Bidirectional Momentum (HBM) contrastive learning to align global and part-level features with text; Semantic Spatial-Temporal Attention (SSTA) for topology-aware fusion; and Topology Structured Masking (TSM) to force robust part-level grounding via adaptive masking. To address the second, we introduce ReMoMask-2, which rebuilds the retrieval database directly within the generator's pre-quantization latent space and aligns text queries via a distilled lightweight projector, allowing the generator to directly consume the retrieved motion's semantic content. Extensive experiments on HumanML3D, KIT-ML, and SnapMoGen demonstrate our retriever achieves state-of-the-art accuracy, while ReMoMask-2 attains the lowest FID on KIT-ML and SnapMoGen; notably, its single mask-transformer stage surpasses ReMoMask's full two-stage pipeline and delivers the fastest inference.

arXivで原文を読む →arXiv概要ページ