社会シミュレーション2026/9/14arXiv:2609.16436

社会シミュレーションのためのLLMエージェントの解釈と操作

Interpreting and Steering LLM Agents for Social Simulations

LLMベースの社会シミュレーションにおいて、プロンプト操作・SAE特徴操作・プローブ方向操作の3手法を比較し、選好や能力の制御性能を評価した。

詳しい要約

1. どんなもの？

LLMベースの社会シミュレーションにおいて、エージェントの内部表現を解釈し操作する手法を比較検討した研究。 - 対象: 人間行動の基盤要素であるpreferences（risk attitudes, altruism）とcapabilities（divergent creativity, product innovation） - 手法: (1) prompt-based manipulation, (2) SAE-derived feature steering, (3) probe-based direction steering - 目的: LLMのblack box性を緩和し、社会科学シミュレーションの価値を高める

2. 先行研究と比べてどこがすごい？

従来のLLM社会シミュレーションはblack box的で、解釈性と操作可能性が欠如していた。 - 先行研究: prompt-based手法が主流だが、内部メカニズムに踏み込めない - 本研究: SAEやprobeを用いて内部表現を人間可読な特徴に分解し、行動を方向づけ可能に - 成果: SAE-およびprobe-based手法が基本的なprompt-based手法をしばしば上回ることを示した

3. 技術・手法の肝は？

3種類の手法を比較: - prompt-based manipulation: 自然言語プロンプトによる操作 - SAE-derived feature steering: Sparse Autoencoderで内部表現を分解し特徴を操作 - probe-based direction steering: プローブで特定方向へ行動をシフト - 4つの古典的経済・創造性タスクを自然言語インタラクションとして実装 - SAEで特徴分解→probeで行動シフトというパイプラインを提案

4. どうやって有効だと検証した？

4つの古典的経済・創造性タスク（risk attitudes, altruism, divergent creativity, product innovation）を自然言語インタラクションとして実装し、各手法の有効性を比較。 - 結果: SAE-およびprobe-based手法がprompt-basedをしばしば上回るが、その優位性は特定のprompting戦略に依存 - 詳細な評価指標や被験者数は要旨からは不明

5. 議論はある？

SAEとprobeを組み合わせたパイプラインが社会科学者にとって有効であると議論。 - SAEがエージェントの内部表現を人間可読な特徴に分解し、probeが行動を指定方向へ信頼性高くシフト - 今後のLLMエージェントを用いた社会科学シミュレーションへの含意を議論 - 限界や課題については要旨からは不明

6. 次に読むべき論文は？

要旨で参照/比較されている研究: - prompt-based manipulation - SAE-derived feature steering - probe-based direction steering - 関連手法: Sparse Autoencoder (SAE), probing - 同分野の定番: LLM-based social simulation, agent-based modeling

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiayue Gaveal Fan, Arul Murugan, Shreyas Krishnan, Abhishek Nagaraj

分類: cs.LG, cs.AI, cs.CL

原文アブストラクト

Simulations based on large language models (LLMs) have proven to be powerful for understanding human behavior, making them valuable additions to the social scientific toolkit. However, LLMs are ultimately black boxes based on deep neural networks which limits their value for social science. This is because of a lack of (i) interpretability: i.e. the ability to assign clear mechanisms driving observed behavior; and a lack of (ii) steerability: i.e. the ability to mute or amplify specific theoretically meaningful mechanisms of action to drive specific model behavior. Here, we demonstrate how the black box could be opened up to further enrich LLM-based simulations. Specifically, we compare three types of methods: (1) prompt-based manipulation, (2) SAE-derived feature steering, and (3) probe-based direction steering and examine their utility for LLM-based social scientific simulations. We do so by interpreting and steering two foundational components of human behaviors, namely preferences (risk attitudes, altruism) and capabilities (divergent creativity, product innovation), operationalized using four classic economic and creative tasks implemented as natural-language interactions. Overall, our results show that SAE- and probe-based techniques often outperform basic prompt-based methods for steering LLM agents, although this advantage depends on the specific prompting strategy involved. Together, SAEs and probes constitute an effective pipeline for social scientists seeking to interpret and steer agents in social simulations: SAEs decompose agents' internal representations into human-readable features, after which probes can reliably shift agents' behaviors in specified directions. We discuss implications of these methods for future work using LLM agents for social scientific simulations.

arXivで原文を読む →arXiv概要ページ

← 論文一覧