日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

表情生成/ヒューマンロボットインタラクションarXiv:2611.23932

Emo-H2A:LLMの隠れ状態から直接顔ロボットをトークン単位で動かす

Emo-H2A: Driving a Facial Robot Directly from LLM Hidden States at Token Rate

シェア:XThreadsFacebookLINEはてブBluesky

LLMの自己回帰デコード中の隠れ状態から感情座標(VAD)を抽出し、別途の感情ラベルなしに顔ロボットの表情をトークン粒度で連続的に駆動する学習不要手法を提案した。

詳しい要約

1. どんなもの?

- LLM の hidden states から直接 facial robot を駆動する Emo-H2A パラダイムの提案 - autoregressive decoding 中の hidden state を用い、別途 emotion label を介さず表情を生成 - 表情は連続的かつ文脈依存で、返答の進行と同期して動く - 具体実装 EmoManifold は training-free 手法 - 各 hidden state から valence-arousal-dominance (VAD) 座標を抽出し投影 - token 粒度で顔を駆動 - 29-degree-of-freedom (DoF) の facial robot に適用

2. 先行研究と比べてどこがすごい?

- 従来は返答全体に単一の emotion label を付与する turn-level な表情制御が中心 - 返答完了を待つため 10-26s の遅延と、返答内の表情変化の欠如が課題 - Emo-H2A は label を介さず hidden state から直接駆動 - 返答内 valence 遷移の 87.5% で一致方向に表情が変化 - 単一 label 保持では方向追従が約 50%(chance level)に留まる - 最初の動きが 0.96s と低遅延(turn-level label の 10-26s 待ちと対比)

3. 技術・手法の肝は?

- Emo-H2A: decoding 中の LLM hidden state を直接 actuation へ写像する枠組み - EmoManifold の処理 - 各 hidden state から VAD 座標を読み出す readout - その座標を投影して facial robot の駆動へ変換 - token 粒度で連続的に表情を更新 - training-free で追加学習を要さない - 6 つの language model 上で readout を確認し、同一の投影を 29-DoF ロボットに適用

4. どうやって有効だと検証した?

- 6 つの language model で VAD readout を検証 - 同一の投影で 29-DoF facial robot を駆動 - 返答内 valence 遷移に対する方向一致率を評価 - Emo-H2A: 87.5% - 返答全体で単一 label を保持: 約 50%(chance level) - 初動時間を比較 - Emo-H2A: 0.96s - turn-level label: 返答完了待ちで 10-26s

5. 議論はある?

- 要旨からは不明 - 6 モデル間の readout 一貫性やモデル依存性の詳細な議論は記述なし - VAD 投影の妥当性・ロボット表情の知覚評価・ユーザ体験評価は不明 - training-free ゆえの限界や失敗ケースの議論も要旨からは不明

6. 次に読むべき論文は?

- 要旨で直接参照/比較されている研究は明示されていない - 関連して読むべき候補(一般名) - LLM hidden states を用いた感情・内部状態の probing 研究 - valence-arousal-dominance (VAD) に基づく感情表現モデリング - LLM 駆動の anthropomorphic robot における speech と非言語行動の同期研究 - turn-level emotion label による表情制御の従来手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yige Liu, Jingcheng Huang, Hao Sun, Min Li, Zhouping Yin

分類: cs.RO

原文アブストラクト

Diverse, semantically synchronized, and low-latency facial expressions are essential for human-robot interaction. While large language models (LLMs) have endowed anthropomorphic robots with fluent speech, facial expression still struggles to follow the conversation. Motivated by this gap, we present Emo-H2A (hidden-to-actuation), a paradigm that drives a facial robot directly from LLM hidden states during autoregressive decoding. Without a separate emotion label, expression stays continuous and context-sensitive, and the face moves with the unfolding reply. We instantiate this paradigm as EmoManifold, a training-free method that extracts a valence-arousal-dominance (VAD) coordinate from each hidden state, projects it, and drives the face at token granularity. The readout is checked on six language models, and the same projection drives our 29-degree-of-freedom (DoF) facial robot. When driven by this projection, the face shifts its expression in the matching direction on 87.5% of within-reply valence transitions, whereas holding a single label for the whole reply leaves directional tracking near the 50% chance level, and first moves in 0.96s rather than waiting 10-26s for the reply to finish and a turn-level label to return.

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI