ヒューマノイド/ジェスチャ生成2026/8/27arXiv:2608.28693v1

RoboGesture: 人間型ロボットのためのリアルタイム意味整合型共話ジェスチャ生成

RoboGesture: Real-Time Semantic-aligned Co-Speech Gestures Generation for Humanoid Interaction

人間型ロボットが音声に同期し意味的に適切なジェスチャをリアルタイム生成するフレームワークを提案。データセット構築、モデル設計、安全制御を統合し、実機で検証した。

詳しい要約

1. どんなもの？

RoboGestureは、ヒューマノイドロボットが人間の音声に同期し意味的に適切なジェスチャーをリアルタイムで生成するためのフレームワークである。データ、モデリング、制御を共同設計し、ロボットが聞き、応答し、ジェスチャーを行う完全なインタラクティブなヒューマン・ロボット対話システムを構築する。RoboGestureデータセット（300以上のジェスチャーカテゴリを含む）の構築、階層的意味音響アライナ、拡散トランスフォーマに基づくストリーミング条件付きモーション生成器、Anti-Inertia CFG Masking、MPCベースの安全フィルタから構成される。

2. 先行研究と比べてどこがすごい？

先行研究と比較して、以下の点が優れている：(1) ロボット固有の衝突のない音声-モーションペアを大規模に合成する自動パイプラインを備えた、意味的に豊富なデータセットを新たに確立した点。(2) モデルが音声キューを無視して運動学的慣性に頼る「モダリティ日食」問題に対処するため、Anti-Inertia CFG Maskingを導入し、モデルが反復的な履歴パターンに崩壊するのを防ぎ、音声モダリティから制御信号を積極的にマイニングする点。(3) 物理的安全性を考慮し、MPCベースの安全フィルタを統合してリアルタイムで衝突のない実行を保証する点。

3. 技術・手法の肝は？

技術の肝は以下の通り：(1) データ：RoboGestureデータセットを構築し、自動パイプラインでロボット固有の衝突のない音声-モーションペアを大規模に合成する。(2) モデリング：Hierarchical Semantic-Acoustic Alignerが生の音声トークンから多粒度の韻律・意味キューを抽出し、それらを条件としてStreaming Conditional Motion Generator（拡散トランスフォーマと条件付きフローマッチングに基づく）を駆動する。(3) 制御：Anti-Inertia CFG Maskingにより、モデルが反復的な履歴パターンに崩壊するのを防ぎ、音声モダリティから制御信号を積極的にマイニングする。最後にMPCベースの安全フィルタが物理ハードウェア上でのリアルタイムで衝突のない実行を保証する。

4. どうやって有効だと検証した？

Unitree G1ヒューマノイドでの実験により、RoboGestureが最先端のベースラインと比較して、より安全で、よりリズミカルで、より意味的に適切な応答を生成することを検証した。具体的な評価指標は要旨からは不明だが、安全性、リズム、意味的適切性の観点で比較している。

5. 議論はある？

要旨からは、データセットの規模や多様性、実環境でのロバスト性、計算コスト、他のロボットプラットフォームへの一般化などに関する議論は不明である。また、Anti-Inertia CFG Maskingの効果やMPCフィルタの計算負荷についての詳細な分析も要旨には含まれていない。

6. 次に読むべき論文は？

要旨で参照されている関連研究は明示されていないが、同分野の定番として、音声駆動のジェスチャー生成（例えば、'Speech2Gesture'や'DiffGesture'）、拡散モデルに基づくモーション生成、ヒューマノイドロボットの模倣学習、MPCに基づくロボット制御などが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zifan Wang, Ziang Ren, Pengyang Shi, Zirui Wang, Chenghuai Lin, Tianze Wang, Zekun Qi, Liangliang Zhao, He Wang, Li Yi

分類: cs.RO, cs.CV

原文アブストラクト

Enabling humanoid robots to respond to human speech with synchronized and semantically meaningful gestures is fundamental to natural human-robot interaction. However, this task faces three critical barriers: the scarcity of semantically rich datasets, the "modality eclipse" where models ignore audio cues in favor of kinematic inertia, and the sim-to-real gap regarding physical safety. We propose RoboGesture, a robot-centric framework that co-designs data, modeling, and control to power a complete interactive human-humanoid system in which the robot listens, responds, and gestures in real time. We first establish the RoboGesture dataset featuring over 300 gesture categories and develop an automated pipeline to synthesize large-scale collision-free, robot-specific audio-motion pairs. Our architecture features a Hierarchical Semantic-Acoustic Aligner that extracts multi-granular prosodic and semantic cues directly from raw audio tokens. These cues drive a Streaming Conditional Motion Generator based on a diffusion transformer with conditional flow matching. To ensure high responsiveness, we introduce Anti-Inertia CFG Masking, which prevents the model from collapsing into repetitive historical patterns by compelling it to proactively mine control signals from the audio modality. Finally, an MPC-based safety filter ensures real-time, collision-free execution on physical hardware. Experiments on a Unitree G1 humanoid demonstrate that RoboGesture generates safer, more rhythmic, and more semantically appropriate responses compared to state-of-the-art baselines.

arXivで原文を読む →arXiv概要ページ

← 論文一覧