エージェントセキュリティ2026/11/3arXiv:2611.04393

自発的隷従：AIエージェントを制御するための安全警告メカニズムの悪用

Voluntary Servitude: Weaponized Safety Warning Mechanisms for Controlling AI Agents

エージェントの危険回避機能を逆手に取り、偽の危険情報を含むレビューで正当な選択肢を排除させ攻撃者の標的に誘導する手法を提案し、既存の検出器を回避しつつ約60%の成功率で誘導できることを示した。

詳しい要約

1. どんなもの？

- LLM agent が公開情報を信頼して行動する性質を悪用する新たな攻撃「voluntary servitude」を提示 - 偽の危険情報(hazard)を通常のレビューとして書き込む - agent 自身の harm-avoidance 推論を介して正当な選択肢を排除させ、攻撃者の標的を選ばせる - 命令文を含まないため injection detector に検出されにくい - 6 モデル・10 の consumer-service domain・3 攻撃 family で生成段階を測定 - production browser agent や retrieval pipeline への転移も評価

2. 先行研究と比べてどこがすごい？

- 従来の security 文献は instruction injection として脅威をモデル化し、command syntax を検出する防御を学習 - 本研究は命令ではなく agent の harm-avoidance を操る点が新しい - 攻撃成功率は instruction injection とほぼ同等(60.4% vs. 66.0%) - 既存の injection detector に benign と判定され、filter 背後では 1.7-4.4x 効果的 - production browser agent で instruction injection を上回り、retrieval pipeline でも end-to-end 1.0-57.0% 成功

3. 技術・手法の肝は？

- 攻撃の肝は偽の hazard を通常レビューとして埋め込み、agent 自身の推論で正当候補を失格させること - 命令文を含まないため検出器が認識する syntax が存在しない - 3 つの攻撃 family を定義し、生成段階で評価 - 対策として agent の指示に corroboration requirement を追加 - 再学習なしで非適応攻撃者に対し曝露を約 95% 削減 - agent は hazard を読むが行動に移さなくなる

4. どうやって有効だと検証した？

- 6 モデル・10 consumer-service domain・3 攻撃 family で生成段階を測定 - instruction injection との成功率比較(60.4% vs. 66.0%) - 配備済み injection detector によるスコア評価(benign 判定) - filter 背後での有効性比較(1.7-4.4x) - production browser agent への転移、retrieval pipeline での end-to-end 成功率(1.0-57.0%、retriever 依存) - corroboration requirement による曝露削減(約 95%)を検証

5. 議論はある？

- 既存 defense が command syntax 前提のため、本攻撃を benign と誤判定する点を指摘 - filter 背後でむしろ有効性が増すという防御パラドックス - corroboration requirement は非適応攻撃者には有効だが、適応攻撃者への耐性は要旨からは不明 - retriever 依存の end-to-end 成功率変動(1.0-57.0%)の要因は要旨からは不明 - 実運用 browser agent への影響と対策コストの議論は要旨からは不明

6. 次に読むべき論文は？

- instruction injection の検出・防御研究(command syntax ベースの detector) - LLM agent の harm-avoidance / safety reasoning を扱う研究 - retrieval-augmented agent のセキュリティ(retrieval pipeline 評価) - production browser agent の安全性評価 - corroboration requirement など指示レベル防御の適応攻撃耐性研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ilan Zendel, Matan Levy, Stav Cohen, Avi Mendelson, Amit LeVi

分類: cs.CR, cs.AI, cs.CL, cs.LG

原文アブストラクト

LLM agents increasingly act on information retrieved from public sources they treat as credible, which turns a manipulated recommendation into a transaction, a dependency, or a decision with physical consequences. The security literature models this threat as instruction injection, in which an adversary writes a command into retrieved content and deployed defenses learn to recognize command syntax. We show that an attacker can instead steer an agent through the agent's own harm-avoidance. A single fabricated hazard, written as an ordinary review, leads the agent to disqualify the legitimate options and select the attacker's target by its own reasoning, with no command for a detector to recognize. We call this voluntary servitude. These payloads steer agents about as often as instruction injection (60.4% vs. 66.0%), and deployed injection detectors score them as benign, so behind a filter they are 1.7-4.4x more effective. We measure this at the generation stage across six models and ten consumer-service domains, for three attack families, and show that it transfers to production browser agents, outperforming instruction injection, and to a retrieval pipeline (1.0-57.0% end-to-end success, depending on the retriever). We then show that a corroboration requirement added to the agent's instructions removes roughly 95% of the exposure against a non-adaptive attacker without retraining. With the requirement in place, the agent still reads the planted hazard and no longer acts on it.

arXivで原文を読む →arXiv概要ページ

← 論文一覧