バックドア攻撃2026/11/3arXiv:2611.04379

シーングラフ生成におけるバックドア攻撃：グローバル文脈経路の役割の解明

Understanding Backdoor Attacks in Scene Graph Generation via Global Context Pathway

シーングラフ生成モデルに対するバックドア攻撃を初めて体系的に研究し、グローバル文脈経路が攻撃の主要な媒介となっていることを明らかにした。

詳しい要約

1. どんなもの？

- Scene Graph Generation (SGG) における training-time backdoor risk を初めて体系的に研究する論文 - SGG は classification と異なり pair-level の攻撃面を持ち、指定した object category が関与する relation を選択的に汚染できる - Visual Genome 上の open-vocabulary および closed-set の SGG モデルで攻撃の有効性を示す - 三軸の評価プロトコルを提案し backdoor 挙動を特徴づける - 明示的な global context pathway が backdoor 効果の主要な運搬経路であることを示す

2. 先行研究と比べてどこがすごい？

- SGG の training-time backdoor risk は未探索であり、本研究が初めて体系的に扱う - classification の backdoor と異なり、SGG 特有の pair-level 攻撃面(指定 object category が関与する relation の選択的汚染)を明らかにする - SGG は局所的な evidence に依存するため globally placed trigger では操作が難しいという従来の想定に対し、global context を組み込む最近の SGG アーキテクチャが攻撃をむしろ促進しうることを示す - 攻撃の有効性だけでなく、global context pathway の機構的役割まで分析する点が新しい

3. 技術・手法の肝は？

- 指定 object category が関与する relation を選択的に汚染する pair-level の backdoor 攻撃を実装 - globally placed trigger を用い、SGG モデルの global context pathway を標的とする - 三軸の評価プロトコルを提案し backdoor 挙動を特徴づける - 推論時に poisoned global context representation を clean な counterpart に置換する介入で機構を検証 - OvSGTR family に対し training-time intervention を行い、trigger signal 抑制の効果を検証

4. どうやって有効だと検証した？

- Visual Genome 上で representative な open-vocabulary および closed-set SGG モデルを用いて攻撃の有効性を実験的に示す - 推論時に poisoned global context representation を clean な counterpart に置換すると、attack success が OvSGTR family で 100%、RelationFormer で 97% 減少 - OvSGTR family への training-time intervention で、この pathway の trigger signal 抑制が attack success を低減するか utility を大幅に劣化させることを示す - これらの結果から global context pathway が backdoor 効果の主要な運搬経路であると結論

5. 議論はある？

- 明示的な global context 設計が SGG アーキテクチャに backdoor risk をもたらしうることを示唆 - global context pathway が backdoor 効果の主要な carrier であるという機構的知見を提示 - training-time intervention では attack success 低減と utility 劣化のトレードオフが生じる可能性を示す - ただし要旨からは、防御法の一般化や他アーキテクチャへの適用範囲についての詳細は不明 - 要旨からは不明な点として、攻撃の前提条件や実運用への影響の議論の深さは読み取れない

6. 次に読むべき論文は？

- OvSGTR family(open-vocabulary SGG モデル) - RelationFormer - Visual Genome を用いた SGG 研究 - classification における backdoor attack の先行研究(一般名) - global context を組み込んだ scene modeling の関連研究(一般名)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiaoguang Chang, Tuo Chen, Chengze Jiang, Teng Wang, Changyin Sun

分類: cs.CV, cs.AI

原文アブストラクト

Scene Graph Generation (SGG) produces structured scene representations, yet its training-time backdoor risk remains unexplored. Unlike classification, SGG exposes a pair-level attack surface that enables selective corruption of relations involving a designated object category. However, because SGG largely relies on localized evidence, globally placed triggers may face difficulty in manipulating such predictions. Recent SGG architectures increasingly incorporate global context to improve scene modeling, which may in turn facilitate such attacks. In this paper, we systematically study this backdoor risk and investigate the role of the global context pathway in backdoor behavior. Concretely, we first instantiate this attack with an effective method, and propose a three-axis evaluation protocol to characterize backdoor behavior. Experiments on Visual Genome with representative open-vocabulary and closed-set SGG models demonstrate the effectiveness of the attack. Mechanistic analyses reveal that the explicit global context pathway serves as a major carrier of the backdoor effect across the evaluated SGG models. In particular, replacing the poisoned global context representation with its clean counterpart during inference sharply suppresses the attack, yielding 100% and 97% reductions in attack success for the OvSGTR family and RelationFormer, respectively. Moreover, training-time interventions in the OvSGTR family show that suppressing trigger signals in this pathway either reduces attack success or substantially degrades utility. Together, these findings suggest that explicit global context designs may pose a backdoor risk in SGG architectures.

arXivで原文を読む →arXiv概要ページ

← 論文一覧