ソーシャルシミュレーション2026/9/18arXiv:2609.21857

パーソナリティ調整済みLLMはより良いソーシャルエージェントになるか？

Do Personality-Tuned LLMs Make Better Social Agents?

シェア:X Threads Facebook LINE はてブ Bluesky

性格ラベル付きSNS投稿と対話で小型LLMをファインチューニングし、性格に基づく対話生成の一貫性と制御性を検証。ファインチューニングは役割演技の改善にはつながらなかった。

詳しい要約

1. どんなもの？

- 社会的対話エージェントやロボット向けの social simulation で使われる LLM の「異質さ」を、personality-aware fine-tuning で軽減できるかを調べた研究。 - 対象は Qwen2.5-7B-Instruct と Ministral-8B-Instruct の 2 つの small open-weight LLM。 - personality-labelled social media posts と dialogues を組み合わせた corpus で fine-tune し、personality-based dialogue engine を構築。 - 複数の social interaction scenarios で、3 つの独立した LLM judges により personality fidelity と behavioral interpretations を評価。 - inter-rater agreement と生成対話の lexical characteristics も定量化。

2. 先行研究と比べてどこがすごい？

- rule-based systems より柔軟な LLM ベースの social simulation に対し、personality-aware fine-tuning が instruction prompting 単独より consistency と controllability を改善するかを直接比較した点。 - 従来は instruction prompting が主流だったが、本研究は fine-tuning の効果を personality-conditioned dialogue generation で検証。 - 結果として fine-tuned models は baseline より role-playing が優れるとは言えず、先行の期待に反する知見を提示。 - ただし low inter-rater agreement が解釈の信頼性を制限する点も明示。

3. 技術・手法の肝は？

- Qwen2.5-7B-Instruct と Ministral-8B-Instruct を personality-labelled social media posts と dialogues の混合 corpus で fine-tune。 - personality-based dialogue engine として social simulation に適用。 - 複数の social interaction scenarios で 3 つの独立した LLM judges が personality fidelity と evidence-based behavioral interpretations を評価。 - inter-rater agreement と lexical characteristics を定量化。 - baseline は instruction prompting のみの各モデル。

4. どうやって有効だと検証した？

- 複数の social interaction scenarios で、3 つの独立した LLM judges による personality fidelity 評価と behavioral interpretations を実施。 - inter-rater agreement を定量化し、評価の信頼性を検討。 - 生成対話の lexical characteristics を分析。 - 結果、fine-tuned models は baseline より role-playing が優れず、Qwen では linguistic diversity が向上。 - 全体的に baseline が best overall performance を示した。

5. 議論はある？

- fine-tuned models は異なる personality の role-playing で baseline を上回らなかった。 - しかし low inter-rater agreement が結果の信頼性を制限すると指摘。 - 生成テキスト品質は fine-tuned と baseline が概ね同等で、Qwen では fine-tuning が linguistic diversity を改善。 - 結果は概ね usable だが、正確な personality role-playing には training data の quality と domain alignment を重視すべきと議論。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として instruction prompting、rule-based systems、personality-aware fine-tuning が挙げられる。 - 同分野の定番として social simulation における LLM ベースの対話エージェント研究、personality-conditioned dialogue generation、LLM judges による評価手法が次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tim Krabbe, Xiaodan Shi

分類: cs.CL, cs.AI

原文アブストラクト

LLMs are increasingly used in social simulations for socially interactive agents and robots, offering more flexibility than rule-based systems. However, even though they mimic human behaviour very well, there is a persistent alienness to them. This work investigates whether personality-aware fine-tuning can reduce this gap by improving the consistency and controllability of personality-conditioned dialogue generation compared with instruction prompting alone. We fine-tune two small open-weight LLMs, Qwen2.5-7B-Instruct and Ministral-8B-Instruct, using a corpus that combines personality-labelled social media posts and dialogues to create a personality-based dialogue engine for social simulation. The resulting models are evaluated across multiple social interaction scenarios using three independent LLM judges, which assess personality fidelity and provide evidence-based behavioral interpretations. We additionally quantify inter-rater agreement and lexical characteristics of the generated dialogue. Results indicate that fine-tuned models are not better at role-playing different personalities than their respective baseline models. However, low inter-rater agreement limits the confidence with which these results can be interpreted. Concerning the quality of generated texts, fine-tuned models are mostly comparable to the baselines, with fine-tuning improving the linguistic diversity of the Qwen models. While the results appear generally usable and the baseline models offer the best overall performance, future studies should place greater emphasis on the quality and domain alignment of training data for accurate personality role-playing.

arXivで原文を読む →arXiv概要ページ

← 論文一覧

PR本紙発行元 EmplifAI