VLA2026/9/13arXiv:2609.14615

Open-UniMo: オープンワールドにおける動作と言語の統合的理解と生成に向けて

Open-UniMo: Towards Unified Motion-Language Understanding and Generation in the Open World

動作と言語を同一のトークン空間で扱う大規模動作言語モデルを提案し、CoT推論と強化学習で双方向の生成・理解精度を高めた。

詳しい要約

1. どんなもの？

- 提案: Open-UniMo は、open-world の motion-language データで学習した unified Large Motion-Language Model (LMLM)。 - 目的: 身体性 AI 向けに motion generation と understanding を統合。 - 特徴: Qwen の約 150K text tokens に 64K motion tokens を追加し、motion と language が unified token space を共有。 - 学習: million-scale open-world motion-language data を使用。 - 評価: Open-MoBench を提案し、T2M generation、M2T understanding、bidirectional consistency を評価。

2. 先行研究と比べてどこがすごい？

- 従来: motion-language モデルは motion を language model の補助モダリティとして扱い、text-dominated 表現と限定的な cross-modal interaction に留まる。 - 従来: next-token prediction は長い motion sequence に不向きで、autoregressive generation は予測誤差を蓄積。 - 提案: modality parity を促進し、motion と language を unified token space で扱う。 - 提案: motion-consistent Chain-of-Thought reasoning を中間表現として導入。 - 提案: GRPO により semantic alignment を改善し、autoregressive motion-token generation の累積誤差を緩和。

3. 技術・手法の肝は？

- 語彙拡張: Qwen の約 150K text tokens に 64K motion tokens を追加し、unified token space を構築。 - 中間表現: motion-consistent Chain-of-Thought reasoning を導入し、language semantics と motion dynamics を橋渡し。 - 学習: two-stage pipeline。 - 第1段階: supervised fine-tuning で CoT-guided bidirectional motion-language mapping を確立。 - 第2段階: Group Relative Policy Optimization (GRPO) で semantic alignment を改善し、autoregressive motion-token generation の累積誤差を緩和。 - 評価基盤: VLM-guided benchmark の Open-MoBench を提案。

4. どうやって有効だと検証した？

- 評価: Open-MoBench を提案し、text-to-motion (T2M) generation、motion-to-text (M2T) understanding、bidirectional consistency を評価。 - 結果: 従来指標と Open-MoBench の両方で state-of-the-art performance を達成。 - 分析: ablation studies により、M2T understanding は motion-token vocabulary size だけでは主に制限されないことを示す。 - 分析: M2T を learnable T2M generation path と結合すると、より強い cross-modal representations が得られ、AR-based motion-language modeling では generation が understanding を促進し得ることを示す。

5. 議論はある？

- 示唆: M2T understanding は motion-token vocabulary size よりも、T2M generation path との結合に強く依存。 - 示唆: generation が understanding を促進する可能性を示し、AR-based motion-language modeling における双方向性の重要性を議論。 - 制約: 具体的な限界や失敗事例、計算コスト、データバイアスなどは要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照: Qwen、Group Relative Policy Optimization (GRPO)、Chain-of-Thought reasoning、Open-MoBench。 - 関連手法: motion-language models、text-to-motion (T2M) generation、motion-to-text (M2T) understanding、autoregressive motion-token generation、VLM-guided benchmark。 - 同分野の定番: HumanML3D、KIT Motion-Language Dataset、MotionCLIP、T2M、MDM などが次の読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Guocun Wang, Kenkun Liu, Guorui Song, Jing Lin, Zhe Huang, Luyuan Zhang, Dake Zhong, Choo Sin Wai, Xiaoguang Han, Haoqian Wang

分類: cs.CV, cs.AI

原文アブストラクト

Unified motion generation and understanding is crucial for embodied AI systems that can both synthesize and interpret human actions in open-world environments. Existing motion-language models often treat motion as an auxiliary modality of a language model, leading to text-dominated representations and limited cross-modal interaction. Moreover, the next-token prediction paradigm is not naturally suited to long motion sequences, where autoregressive generation may accumulate prediction errors. To address these challenges, we propose Open-UniMo, a unified Large Motion-Language Model (LMLM) trained on million-scale open-world motion-language data. Open-UniMo promotes modality parity by extending Qwen's vocabulary of about 150K text tokens with 64K motion tokens, enabling motion and language to share a unified token space. We further introduce motion-consistent Chain-of-Thought reasoning as an intermediate representation to bridge language semantics and motion dynamics. Open-UniMo is trained with a two-stage pipeline, where supervised fine-tuning establishes CoT-guided bidirectional motion-language mapping and Group Relative Policy Optimization (GRPO) improves semantic alignment while mitigating cumulative errors in autoregressive motion-token generation. To support comprehensive evaluation, we propose Open-MoBench, a VLM-guided benchmark for assessing text-to-motion (T2M) generation, motion-to-text (M2T) understanding, and bidirectional consistency. Extensive experiments show that Open-UniMo achieves state-of-the-art performance on both conventional metrics and Open-MoBench. Furthermore, ablation studies reveal that M2T understanding is not primarily limited by motion-token vocabulary size; instead, coupling M2T with the learnable T2M generation path yields stronger cross-modal representations, demonstrating that generation can facilitate understanding in AR-based motion-language modeling.

arXivで原文を読む →arXiv概要ページ