LLM制御2026/8/6arXiv:2608.05732

CircuitSteer: スパースオートエンコーダ回路による幾何学的に整列した多層ステアリング

CircuitSteer: Geometrically Aligned Multi-Layer Steering via Sparse Autoencoder Circuits

大規模言語モデルの行動制御を改善するため、スパースオートエンコーダを用いて複数層にわたる意味回路を特定し、その特徴からステアリングベクトルを合成して多層介入を行う手法を提案した。毒性や拒否などのタスクで、既存手法より品質を保ちつつ効果的な制御を実現した。

詳しい要約

1. どんなもの？

CircuitSteerは、大規模言語モデル(LLM)の行動制御を目的とした新しいフレームワークである。Sparse Autoencoders (SAEs)を用いて、複数層に分散する意味的に一貫した回路を特定・操作する。特徴の共活性とdecoder directionsの幾何学的整合性に基づいてfeature flow circuitを構築し、対象行動に関与する多層サブ回路を分離する。その後、スパースな特徴から高密度なsteering vectorsを合成し、多点多層介入(multi-point interventions)を適用してモデルの内部意味軌道を導く。toxicity、emotion-intensity、sycophancy、refusalなどのタスクで評価され、2つのモデルファミリーにわたって一貫してfluencyを保つ介入を実現した唯一の手法である。

2. 先行研究と比べてどこがすごい？

既存のsteering手法、特にContrastive Activation Addition (CAA)は、集約された活性化差分から導出される固定の単層介入に依存している。これらは意味的に多様な入力に対して単一の介入を課すため、層をまたいで一貫した行動変化を維持できず、効果が限定的である。CircuitSteerは、SAEsを用いて複数層にわたる意味的回路を特定し、幾何学的整合性を強制することで、静的な単点介入よりも堅牢で効果的な行動制御を実現する点が優れている。

3. 技術・手法の肝は？

手法の核心は、SAEsを用いて特徴を抽出し、特徴の共活性とdecoder directionsの幾何学的整合性に基づいてfeature flow circuitを構築することである。これにより、対象行動に責任のある多層サブ回路を分離する。次に、これらのスパースな特徴から高密度なsteering vectorsを合成し、多点多層介入を適用する。幾何学的整合性を強制することで、選択された特徴間の整合性を保証し、効果的な介入を可能にする。

4. どうやって有効だと検証した？

toxicity、emotion-intensity、sycophancy、refusalを含む多様なタスクのcontrastive examplesを用いて評価した。2つのモデルファミリーにわたって、CircuitSteerは一貫してfluencyを保つ介入を生成した唯一の手法であり、競合手法はテキスト品質を犠牲にするか、カバレッジが不足し、sycophancyやrefusalのような複雑な行動では完全に失敗した。

5. 議論はある？

要旨からは、幾何学的整合性の重要性や多層回路の利点が示唆されるが、具体的な限界や議論は明記されていない。例えば、計算コストやスケーラビリティ、他のモデルやタスクへの一般化可能性などは要旨からは不明である。

6. 次に読むべき論文は？

要旨で参照されているContrastive Activation Addition (CAA)やSparse Autoencoders (SAEs)に関する論文が挙げられる。また、関連するsteering手法や解釈可能性研究も参考になる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mehrshad Saadatinia, Parsa Razmara, Ardalan Aryashad, Ali Abbasi, Seyedarmin Azizi

分類: cs.LG

原文アブストラクト

Controlling the behavior of large language models (LLMs) remains a critical challenge for AI alignment. Existing steering methods, such as Contrastive Activation Addition (CAA), typically rely on fixed single-layer interventions derived from aggregate activation differences. These methods impose a single intervention across semantically diverse inputs and often fail to sustain consistent behavioral changes across layers, limiting the effectiveness of the steering. In this work, we introduce CircuitSteer, a novel framework that leverages Sparse Autoencoders (SAEs) to identify and manipulate coherent semantic circuits distributed across multiple layers. By constructing a feature flow circuit based on feature co-activation and the geometric alignment of decoder directions, we isolate the specific multi-layer subcircuits responsible for a target behavior. We then synthesize dense steering vectors from these sparse features and apply multi-point interventions to guide the model's internal semantic trajectory. We evaluate CircuitSteer using contrastive examples across a diverse set of tasks, including toxicity, emotion-intensity, sycophancy, and refusal, spanning two model families. Across all models and datasets, CircuitSteer is the only method to consistently produce fluency-preserving interventions; competing methods either sacrifice text quality or lack coverage, failing entirely on complex behaviors like sycophancy and refusal. These results demonstrate that multi-layer circuit steering, enabled by enforcing geometric alignment among selected features, yields strictly more robust and effective behavioral control than static single-point interventions. Code is available at https://github.com/mehrshad-sdtn/CircuitSteer.

arXivで原文を読む →arXiv概要ページ

← 論文一覧