仮想人間のための不一致な言語・非言語行動のLLMベース選択

本論文は、仮想エージェントの非言語行動生成において、発話内容と一致しない（incongruent）非言語行動をLarge Language Models (LLMs)を用いて選択する手法を提案している。従来のシステムは発話内容を強調する非言語行動を生成するが、人間の非言語行動は発話内容だけでなく、話者の役割、対人関係、社会的文脈、認知的・感情状態に影響される。本論文では、Ekmanの枠組みに基づき、言語と非言語の不一致が生じるカテゴリの分類法（taxonomy）を提案し、LLMが対話と社会的文脈から文脈に適した不一致行動を選択できるかを検討する。さらに、仮想人間に実装した際の観察者への効果を人間被験者実験で評価する。

先行研究の非言語行動生成システムは、発話内容を強調・説明する一致した行動に焦点を当てていた。しかし、人間の非言語行動は発話内容と矛盾したり、内部状態を漏らしたりすることがあり、これをモデル化することが重要である。本論文は、言語と非言語の不一致を明示的に扱い、LLMを用いて文脈に応じた不一致行動を選択する点が新しい。また、Ekmanの枠組みを応用した分類法を提案し、訓練シミュレーションなどの社会的解釈が重要な文脈での応用を目指している点が先行研究と異なる。

手法の肝は、Ekmanの言語-非言語関係の枠組みに基づく不一致カテゴリの分類法を定義し、LLMを用いて対話と社会的文脈から適切な不一致行動を選択すること。具体的には、与えられた対話と社会的文脈（話者役割、関係性など）をLLMに入力し、分類法に基づく不一致行動の候補を生成・選択させる。LLMの能力を活用して、文脈に応じた微妙な不一致を実現する。

有効性の検証は、人間被験者実験により行われた。仮想人間に生成された非言語行動を実装し、観察者がその行動から意図された効果（例えば、感情の漏出や内部状態の推測）を受け取るかどうかを評価した。具体的な評価指標や結果の詳細は要旨からは不明だが、文脈駆動の非言語行動が観察者に意図した効果を生むかどうかを検証している。

議論としては、LLMが選択する不一致行動の文脈適切性や、実際の仮想人間での表現の自然さ、観察者の解釈のばらつきなどが考えられる。また、Ekmanの枠組みがすべての不一致を網羅しているか、LLMの選択が訓練データのバイアスに影響される可能性も議論される。しかし、要旨からは具体的な議論内容は不明であり、今後の課題として、より多様な社会的文脈での評価や、実応用での有効性が挙げられる。

要旨で参照されているEkmanの枠組みに関する研究（Ekmanの非言語行動の分類に関する論文）や、LLMを用いた対話生成・行動生成の関連研究が挙げられる。具体的には、非言語行動生成のためのLLM応用や、仮想エージェントの社会的行動生成に関する論文が次に読むべきである。