感情対話ロボットのためのリズム・意味を統合した共話ジェスチャー生成
Rhythmic-Semantic Co-Speech Gestures for Emotional Dialogue in Robots
テキストとロボットの感情状態から、意味を持つ象徴的ジェスチャーとリズム的なビート動作をリアルタイムで生成する感情認識型システムを提案し、社会的ロボットHaruで実装してユーザー評価を行った。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Christian Arzate Cruz, Edwin C. Montiel-Vázquez, Stefanos Gkikas, Miguel Mejia Tobar, Randy Gomez
分類: cs.RO
原文アブストラクト
Co-speech gestures can increase engagement and improve speech understanding. Yet, most data-driven robot systems generate either rhythmic beat-like motion or semantically meaningful iconic gestures, but not both. We present an emotion-aware rhythmic-semantic co-speech gesture system that generates iconic and beat behaviors in real time from text and the robot's internal emotional state. We formalize the task of beat-iconic gesture generation using emotion and propose lightweight models that predict iconic timing and intensity, then fill the remaining spans with emotion-conditioned beats at an appropriate intensity level. We train on the BEAT2 dataset and deploy the system on the social robot Haru. In an online user study with 60 participants, our method shows stronger speech-gesture alignment and is preferred over baseline methods.
関連論文
- GestAdapt: 作業空間に適応した人型ロボットの共話ジェスチャー生成共話ジェスチャー生成