日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

表情生成arXiv:2611.20950

ROSE: ヒューマノイドロボット表情のための共有クロスエンボディメント顔面動作潜在空間

ROSE: A Shared Cross-Embodiment Facial-Motion Latent Space for Humanoid Robot Expression

シェア:XThreadsFacebookLINEはてブBluesky

腱シース伝達で34アクチュエータを小型頭部に集約したハードウェアと、人間・デジタルヒューマン・ロボットの観測から共有顔面動作潜在空間を学習し、テキストや音声から直接アクチュエータ指令へ変換する表情生成フレームワーク。

詳しい要約

1. どんなもの?

- ヒューマノイドロボットの自然で coherent な full-face 動的表現を実現するフレームワーク ROSE の提案 - biomimetic hardware、cross-embodiment motion representation learning、multimodal motion generation を統合 - 小型頭部に 34 actuators を組み込む flexible tendon-sheath transmission structure を構築 - ROSE-VAE、ROSE-Flow、ROSE-ACT からなる学習・生成・実行パイプライン

2. 先行研究と比べてどこがすごい?

- 既存システムは限定的な lip motion や scripted expressions のみのことが多い - 従来の learned systems は avatar video、landmarks、facial parameters を生成し visual retargeting で actuator commands を推定 - この render-and-invert path は latency と artifacts を生み、物理ロボットへの転移が信頼できない - ROSE は video を generator input にせず、共有 motion space 上で直接 trajectory を生成し actuator commands へ変換

3. 技術・手法の肝は?

- ハードウェア: actuator 配置と facial action points を decouple する flexible tendon-sheath transmission により 19.5 cm の頭部に 34 actuators を統合 - ROSE-VAE: human、digital-human、robot の観測から identity-independent な shared facial-motion latent space を学習 - ROSE-Flow: text、audio、またはその組み合わせを motion space 上の trajectory へ直接マッピング - ROSE-ACT: trajectory を constrained actuator commands に変換

4. どうやって有効だと検証した?

- 要旨からは不明(具体的な評価指標・被験者実験・比較対象は記述されていない) - ただし system が cross-embodiment learning、multimodal generation、physical robot expression を統合することを実証したと述べている

5. 議論はある?

- 要旨からは不明(限界・失敗事例・倫理的考察・計算コストの議論は記述されていない) - 小型頭部での高密度 actuation と shared executable representation の両立が主張の中心

6. 次に読むべき論文は?

- visual retargeting を用いる従来の learned facial expression systems(render-and-invert path 関連) - ROSE-VAE の基盤となる VAE 系 cross-embodiment motion representation learning - ROSE-Flow に関連する flow matching / diffusion 系の multimodal motion generation - humanoid robot の facial expression に関する biomimetic hardware 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yongji Fu, Man Cao, Yi Zhou, Fei Lin, Mark F. Hansen, Guanqun Cao

分類: cs.RO

原文アブストラクト

Natural, coherent full-face dynamic expressions are central to making humanoid robots socially approachable, yet existing systems commonly realize only limited lip motion or scripted expressions. The limitation is both physical and algorithmic. A compact head leaves little room for densely packed, independently controllable actuation; meanwhile, learned systems often generate an avatar video, landmarks, or facial parameters and then infer actuator commands through visual retargeting. This render-and-invert path adds latency and artifacts, and it does not reliably transfer generated behavior to a physical robot. We present ROSE (RObot facial expression through Shared motion Embeddings), a framework that integrates biomimetic hardware, cross-embodiment motion representation learning, and multimodal motion generation. On the hardware side, we build a flexible tendon-sheath transmission structure that integrates 34 actuators into a 19.5 cm biomimetic head. By decoupling actuator placement from facial action points, it enables coordinated full-face expression within a compact volume. On the algorithmic side, ROSE-VAE learns an identity-independent shared facial-motion latent space from human, digital-human, and robot observations. ROSE-Flow directly maps text, audio, or their combination to trajectories in this motion space without using video as a generator input. ROSE-ACT then converts these trajectories into constrained actuator commands. Our system demonstrates how high-density biomimetic hardware and a shared executable facial-motion representation can jointly unify cross-embodiment learning, multimodal generation, and physical robot expression.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI