社会的推論から身体化インタラクションへ:ソーシャルロボットのためのエージェントフレームワーク
From Social Reasoning to Embodied Interaction: An Agentic Framework for Social Robots
ヒューマノイドロボットSophia上で、マルチモーダル推論・長期記憶・能動的/反応的インタラクションを統合し、社会的意図を音声・表情・ジェスチャーとしてストリーミング実行するフレームワークARISEを提案した。
著者: Ziyu Cheng, Yuewen Guo, Zhirui Liu, Dong Zhang, Haotao Lu, Jingyi Yu, Ye Shi, Jingya Wang
分類: cs.RO
原文アブストラクト
Natural face-to-face human--robot interaction requires a robot to understand an evolving social situation, decide when to engage, and express its intent through coordinated physical behavior. Yet existing approaches rarely close this loop: foundation-model agents provide increasingly capable multimodal reasoning and memory but remain largely disembodied, while expressive virtual agents do not face the physical constraints of real robots, and physical social robots typically address social reasoning and embodied expression only partially. We present ARISE, a unified framework that bridges Agentic Reasoning and Interactive Social Embodiment on the Sophia humanoid robot. ARISE integrates multimodal context understanding, long-term memory, and reactive and proactive interaction to determine when and what to communicate, and translates social intent into robot-native gestures coordinated with speech and mechanical facial expressions through streaming execution. Extensive evaluations on Sophia demonstrate strong perceived interaction quality, expressive and well-coordinated embodied behavior, and substantial latency reductions through streaming execution. These results highlight the importance of jointly reasoning about what to communicate, when to engage, and how to physically express social intent for natural interaction with humanoid robots. Project Page: https://robosocial.github.io/
関連論文
- ARIS: ソーシャルロボットのためのエージェント型・関係性知能システムソーシャルロボティクス
- Pepperロボットにおける低遅延・LLM駆動型マルチモーダル対話のためのフレームワークソーシャルロボティクス
- Mの紹介:モジュール式で改造可能なソーシャルロボットソーシャルロボティクス
- 基盤モデル時代における倫理的・ユーザー適応型説明可能性を備えたソーシャルロボットの設計ソーシャルロボティクス
- ProAct: 能動的な身体性ソーシャルエージェントのためのデュアルシステムフレームワークソーシャルロボティクス
- Botson: 社会ロボティクス研究のための低コストで利用しやすいプラットフォームソーシャルロボティクス