タンパク質設計システムの事前学習・検索コーパスへのポイズニング攻撃

タンパク質デザインシステムに対するデータのみの poisoning 攻撃を2種類検討した研究。 - 対象1: autoregressive protein language model の pre-training corpus。 - 対象2: text-guided protein generator の retrieval corpus。 - 前者では ProtGPT2 と ProGen2 の 300M パラメータ変種を pre-train。 - 後者では重みや decoding を変えず retrieval corpus にレコードを挿入。 - 攻撃により trigger 依存生成や生成配列の改変が生じることを示す。

先行研究と比べてどこがすごいかは要旨からは不明。 - タンパク質基盤モデルが大規模公開データに依存する点を攻撃面として指摘。 - pre-training と retrieval の両段階に対する data-only poisoning を扱う。 - 通常のモデル挙動を大きく保ちつつ、持続的・配列特異的挙動や生成リダイレクトを成立させる点を主張。 - 具体的な先行研究との比較は要旨に記載なし。

技術や手法の肝は以下。 - 攻撃1: pre-training corpus に poisoned protein sequences を混入。 - 2種類の trigger のいずれかと3種類の payload のいずれかを含む。 - uniform と ramped の poisoning schedule を比較。 - 攻撃2: retrieval corpus にレコードを挿入。 - モデル重みや decoding procedure は変更しない。 - query-aware な単一レコードと、query-unaware な1,500レコードの universal 攻撃を検討。 - 評価指標として top-16 retrieval position、配列改変、profile-HMM homology による domain 獲得を用いる。

有効性の検証は以下。 - 攻撃1: 300M パラメータの ProtGPT2 と ProGen2 変種を pre-train。 - 全 poisoned run で trigger 依存生成が高信頼に獲得された。 - ramped schedule では最小200の汚染例で majority activation。 - uniform schedule では約5000の汚染例で最小 activation。 - 攻撃2: retrieval corpus への挿入で検証。 - 単一 query-aware レコードが templated requests の58%、free-text requests の97%で top-16 に入る。 - 汚染 retrieval 成功時、62%のリクエストで配列改変。 - 19-21%で profile-HMM homology により挿入 domain を獲得。 - 1,500レコードの universal query-unaware 攻撃でも retrieval capture と domain transfer を達…

議論・含意は以下。 - adversarial protein sequence contributions が pre-training 中に持続的・配列特異的挙動を確立し得る。 - inference 時にタンパク質生成をリダイレクトし得る。 - 一方で通常のモデル挙動は largely preserved とされる。 - タンパク質配列データの integrity と biological provenance が generative protein design の重要 safeguard であると主張。 - 限界や反論、倫理的議論の詳細は要旨からは不明。

要旨で参照・比較されている研究は明示されていない。 - 関連手法として ProtGPT2、ProGen2、text-guided protein generator、profile-HMM が挙げられる。 - 次に読むべき論文として、protein language model の pre-training、retrieval-augmented protein generation、data poisoning 攻撃、training data provenance に関する研究が候補。 - 具体的な論文名は要旨からは不明。