日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
バンディット攻撃arXiv:2610.10000

報酬抑制を超えて:有界報酬ウォームスタートバンディットに対する準最適オフライン攻撃

Beyond Reward Suppression: Near-Optimal Offline Attacks on Warm-Start Bandits with Bounded Rewards

シェア:XThreadsFacebookLINEはてブBluesky

ウォームスタート履歴に偽の行動・報酬ペアを注入する攻撃を研究し、ターゲット腕が低報酬境界付近にある場合、UCBをほぼ常にターゲット選択させるにはコストの一部をターゲット腕自体の宣伝に割り当てる必要があることを示し、最適なサブリニアコストを達成する攻撃を設計した。

詳しい要約

1. どんなもの?

- 本研究は、warm-start banditsに対するbounded offline attackを扱う。 - 攻撃者はdeployment前にwarm-start historyへ有効なaction-reward pairのみを注入できる。 - 目的はlearnerをtarget armに誤誘導しつつ攻撃コストを小さくすること。 - 既存研究が非target armの抑制に頼るのに対し、target itemの直接的なpromotionに着目。 - UCBやThompson Sampling、ε-greedyなど幅広いbanditアルゴリズムを対象とする。

2. 先行研究と比べてどこがすごい?

- 既存の攻撃は主に非target armのrewardを抑制する手法だった。 - 本研究はtarget promotionが単なるheuristicでないことを理論的に示す。 - target armがlower reward boundary付近にある場合、UCBに対するorder-optimal-cost攻撃はtarget armに非消滅的なコスト配分を必要とする。 - 最適なsublinear costを達成する攻撃を設計し、target promotionと非target suppressionの配分を特徴づける。 - 従来の抑制中心の攻撃より現実的なfake reviewsなどの操作を捉える。

3. 技術・手法の肝は?

- warm-start historyに有効なaction-reward pairを注入するoffline attackを定式化。 - UCBに対して、target armがほぼ全てのonline roundで選択されるようにする攻撃を設計。 - 攻撃コストをsublinearに抑えつつ、target promotionと非target suppressionの最適配分を導出。 - Thompson Samplingやε-greedy、より広いクラスのbanditアルゴリズムへ拡張。 - 理論解析により、target armがlower reward boundary付近にある場合のコスト配分の必要性を証明。

4. どうやって有効だと検証した?

- 実世界データと合成データを用いた実験で攻撃の有効性を検証。 - 実験により、提案攻撃がtarget armをほぼ全てのonline roundで選択させることを確認。 - 攻撃コストがsublinearであること、およびtarget promotionと非target suppressionの配分が理論通りであることを実証。 - 複数のbanditアルゴリズム(UCB, Thompson Sampling, ε-greedy)に対する有効性を確認。

5. 議論はある?

- target promotionが理論的に必要となる条件(target armがlower reward boundary付近)を明示。 - 攻撃コストの最適性と配分の特徴づけを議論。 - より広いクラスのbanditアルゴリズムへの拡張可能性を議論。 - 実世界への応用(fake reviewsなど)との関連を議論。 - 限界や今後の課題については要旨からは不明。

6. 次に読むべき論文は?

- UCB, Thompson Sampling, ε-greedyに関する元論文。 - warm-start banditsの研究。 - offline attacks on banditsの先行研究。 - adversarial attacks on banditsの関連手法。 - 要旨で参照/比較されている具体的な研究は明記されていないため、同分野の定番を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qirun Zeng, Manhin Poon, Xiangxiang Dai, Qixin Zhang, Jinhang Zuo

分類: cs.LG, cs.AI

原文アブストラクト

Adversarial attacks on bandits aim to mislead a learner toward a target arm while keeping the attack cost small. Existing attacks typically achieve this by suppressing non-target arms. In practice, however, manipulation such as fake reviews often directly promotes the target item. We study this gap through bounded offline attacks on warm-start bandits, where an attacker can inject only valid action-reward pairs into the warm-start history before deployment. We show that target promotion is not merely a heuristic: when the target arm lies near the lower reward boundary, any order-optimal-cost attack against UCB that makes it selected in nearly all online rounds must allocate a nonvanishing fraction of its cost to the target arm. We then design an attack that achieves the optimal sublinear cost and characterize its allocation between target promotion and non-target suppression. We further extend the attack to Thompson Sampling, $ε$-greedy, and a broader class of bandit algorithms. Experiments on real-world and synthetic data validate the effectiveness of our attacks.

PR本紙発行元 EmplifAI