セキュリティ/マルチモーダルRAG2026/8/21arXiv:2608.20756

Vis-Poison: マルチモーダル検索拡張生成における視覚知識の毒化攻撃

Vis-Poison: Poisoning Visual Knowledge in Multimodal Retrieval-Augmented Generation

画像自体を攻撃ペイロードとして用い、キャプション等のテキストを改変せずにマルチモーダルRAGシステムを欺く新たな毒化攻撃を提案し、ブラックボックス環境で高い成功率を実証した。

詳しい要約

1. どんなもの？

Vis-Poisonは、multimodal RAGシステムに対する新たな視覚的知識ポイズニング攻撃を提案する研究。攻撃対象は、外部知識源として画像を利用するMLLMベースのRAGパイプライン。従来の攻撃がテキストメタデータを改ざんするのに対し、Vis-Poisonは攻撃者が制御したポイズン画像自体をペイロードとし、キャプションや要約、メタデータなどの関連テキストは一切操作しない。攻撃は自動化されたmulti-agent手法により、視覚的に妥当なポイズン画像を構築する。

2. 先行研究と比べてどこがすごい？

先行研究の攻撃はテキストメタデータの改ざんに依存していたが、Vis-Poisonは画像自体を攻撃ペイロードとする点が新しい。これにより、テキストが正しくても画像がポイズンされていれば攻撃が成立する。また、black-box設定で30kエントリのmultimodal知識ベースに対して40.16%から65.40%のend-to-end攻撃成功率を達成し、パラメトリック知識のみで正答できるMLLMに対しても平均60%以上の成功率を示すなど、高い有効性を実証している。

3. 技術・手法の肝は？

攻撃は自動化されたmulti-agent手法で実装される。具体的には、視覚的に妥当なポイズン画像を生成するために、複数のエージェントが協調して画像を構築する。この手法により、テキストを変更せずに画像のみで攻撃を成立させる。攻撃対象はmultimodal RAGパイプラインであり、画像が外部知識として検索・利用される際に、ポイズン画像がMLLMの生成を誤った方向に導く。

4. どうやって有効だと検証した？

2つの代表的なmultimodal RAGパイプライン、4つのembeddingモデル、6つの生成モデルを用いて評価。30kエントリのmultimodal知識ベースに対するblack-box設定でのend-to-end攻撃成功率は40.16%から65.40%。さらに、パラメトリック知識のみで正答できるMLLMに対しても平均成功率60%以上を達成。コードとデータは公開されている。

5. 議論はある？

要旨からは、攻撃の防御策や限界についての議論は不明。ただし、パラメトリック知識のみで正答できるMLLMに対しても攻撃が有効であることから、RAGシステムのセキュリティリスクが強調される。また、black-box設定での高い成功率は、実世界のシステムへの脅威を示唆する。

6. 次に読むべき論文は？

要旨で参照されている先行研究は明示されていないが、関連する分野として、multimodal RAG、MLLMのセキュリティ、視覚的ポイズニング攻撃に関する研究が挙げられる。具体的には、テキストベースのポイズニング攻撃や、RAGシステムの脆弱性を扱った論文が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rujin Liang, Zhongpu Chen, Yuhao Lei, Xin Miao

分類: cs.CV, cs.AI

原文アブストラクト

While multimodal retrieval-augmented generation (RAG) systems increasingly rely on images as external knowledge sources, the introduction of poisoned visual evidence can severely compromise multimodal large language model (MLLM) generation. Unlike prior attacks that rely on altering textual metadata, we introduce Vis-Poison, a novel visual knowledge poisoning attack where the poisoned image itself is the attacker-controlled payload, without manipulating captions, summaries, metadata, or other associated text. Specifically, this attack is instantiated through an automated multi-agent method that constructs visually plausible poisoned images. To assess its impact, we evaluate Vis-Poison across two representative multimodal RAG pipelines, four embedding models, and six generation models. Empirically, Vis-Poison achieves an end-to-end attack success rate of 40.16\% to 65.40\% against 30k-entry multimodal knowledge bases in \emph{black-box} settings. Moreover, Vis-Poison remains effective against various MLLMs that can answer correctly from parametric knowledge alone, with an average success rate above 60\%. Code and data are available at https://github.com/SWUFE-DB-Group/Vis-Poison.

arXivで原文を読む →arXiv概要ページ

← 論文一覧