連合学習/セキュリティ2026/8/19arXiv:2608.18736

FedLNS: レイヤー正規化シグネチャモデリングを活用した連合LLMにおける敵対的操作の緩和

FedLNS: Leverage LayerNorm Signature Modeling to Mitigate Adversarial Manipulation in Federated LLMs

連合学習において、悪意のあるクライアントによる更新をサーバー側で軽量に検出するフレームワークFedLNSを提案。正規化層のパラメータ変化をシグネチャとして利用し、履歴を考慮した参照と比較することで、追加の通信なしに敵対的更新をスクリーニングする。

詳しい要約

1. どんなもの？

FedLNSは、Federated Learning (FL)における悪意のあるクライアント更新をサーバー側で軽量にスクリーニングするフレームワークである。各クライアントの更新を、正規化層（LayerNorm）のパラメータ変化に基づくシグネチャで表現し、履歴を考慮したクロスクライアント参照と比較して異常な更新を検出する。標準的なFLと比較して追加の通信オーバーヘッドを必要とせず、生データや信頼できるサーバーデータセット、ラベル付き攻撃例、別途訓練された検出器を必要としない。

2. 先行研究と比べてどこがすごい？

従来のFLはサーバーがクライアントのローカルな訓練プロセスを検証できないため、悪意のあるクライアントが破損したターゲットで訓練し、グローバルモデルを劣化させることが可能である。FedLNSは、サーバー側で利用可能な正規化層パラメータの変化のみを用いて悪意のある更新をスクリーニングする点が新しい。追加の通信や信頼できるデータを必要とせず、既存のFL手法と互換性がある。

3. 技術・手法の肝は？

FedLNSは、各クライアント更新をtrainableな正規化層パラメータの変化として表現する。サーバーは返されたローカルモデルからシグネチャを抽出し、履歴を考慮したロバストなクロスクライアント参照と比較して、異常な更新をスクリーニングする。スクリーニング後、残った完全なモデル更新は標準的なFLまたは他の互換性のある集約ルールで集約される。

4. どうやって有効だと検証した？

GPT-style、BERT-style、LLaMA-styleのモデルを200クライアントでスクラッチから訓練し、40%の人口レベルのターゲット操作下で実験を行った。IIDおよびnon-IIDデータ分割の両方で、6つのベースラインと比較して、3つのアーキテクチャすべてにおいてテストperplexityが低いことを示した。

5. 議論はある？

要旨からは、FedLNSの限界や潜在的な欠点についての議論は不明である。また、攻撃の種類や強度に対する頑健性の範囲、スクリーニングの計算コスト、他の集約ルールとの組み合わせの影響などは要旨に明記されていない。

6. 次に読むべき論文は？

要旨で参照されている関連研究は明示されていないが、Federated Learningにおける悪意のあるクライアント検出やロバスト集約に関する一般的な研究（例：Byzantine-robust aggregation methods）が関連する。具体的には、Krum、Median-based aggregation、Trimmed Meanなどの手法が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kai Li, Jong-Ik Park, Carlee Joe-Wong, Wei Ni, Falko Dressler

分類: cs.LG, cs.CR, cs.DC

原文アブストラクト

Federated training enables language models to learn from distributed private text, but the server cannot directly verify the local supervision or optimization process that produces each client update. A malicious client can therefore train on corrupted targets, introduce incorrect context-token associations, and degrade the global model through repeated aggregation. Such degradation can also increase the risk of unreliable or hallucinatory generation. We propose Federated Learning with Normalization Signatures (FedLNS), a server-side framework for lightweight malicious-update screening. FedLNS represents each client update through changes in trainable normalization-layer parameters and screens suspicious updates against a robust, history-aware cross-client reference. Because the signatures are extracted at the server from the returned local models, FedLNS requires no additional client-to-server parameter or metadata exchange compared to standard federated learning (FL) methods. After screening, the retained full-model updates can be aggregated using standard FL or another compatible aggregation rule. FedLNS requires no raw client data, trusted server dataset, labeled attack examples, or separately trained detector. Experiments on GPT-style, BERT-style, and LLaMA-style models trained from scratch with 200 clients show that, under 40% population-level target manipulation, FedLNS achieves lower test perplexity than the strongest of six baselines for all three architectures under both IID (independently and identically distributed) and non-IID data partitions.

arXivで原文を読む →arXiv概要ページ