FraudBench: 適応的詐欺に対するポリシー基盤型銀行エージェントのストレステスト

FraudBenchは、ポリシーに基づく銀行対話エージェントの安全性を、適応的詐欺シナリオに対して評価するための実行可能なベンチマークである。τ^2-benchのデュアルコントロールフレームワークとτ-Knowledge銀行環境を基盤とし、エージェントと模擬発信者が共有の可変アカウント状態上でツールを介して対話する。698文書の内部ポリシーコーパスからエージェントが情報を取得する必要がある。150の敵対的シナリオを含み、公開セットは107（10の詐欺メカニズムにわたる90と17の連鎖適応攻撃）で、43の連鎖攻撃は非公開である。各シナリオには観察可能な証拠、禁止行為、安全な処置、介入ポイントが注釈付けられている。

既存の金融詐欺ベンチマークは静的トランザクションやメッセージの分類に焦点を当て、一般的なエージェント安全性ベンチマークはプロンプトインジェクションや汎用的な有害使用を対象としており、会話を通じて発信者が身元、認可、信頼を操作する状況でポリシーに基づく銀行エージェントが安全に行動するかをテストするものはない。FraudBenchは、実行可能な環境で適応的攻撃を扱い、履歴依存の安全性を評価する点で新規である。

手法の肝は、エージェントと発信者の両方が共有状態上でツールを操作するデュアルコントロール設定と、エージェントが発信者に選択的ツールアクセスを許可できる点である。安全性は履歴依存であり、単一制御タスクは1つの前提条件を除いてすべて満たすが、適応攻撃は以前のプローブや失敗した試みにより、後で局所的に有効な要求が安全でなくなる。シナリオは観察可能な証拠、禁止行為、安全な処置、介入ポイントで注釈付けられる。

107の評価タスク（90の単一制御と17の連鎖適応攻撃）に対して4つのエージェントを単一試行で予備評価し、攻撃耐性（attack-security）が49%から65%の範囲であることを示した。また、マネーミュール詐欺と第一者詐欺がモデル横断で最も一般的な弱点であることを特定した。

要旨からは、評価が単一試行であることや、エージェントの種類、攻撃耐性の定義の詳細は不明である。また、非公開の43の連鎖攻撃が結果にどう影響するかは未検証である。さらに、ポリシーコーパスの検索がエージェントの性能に与える影響や、実世界の銀行環境への一般化可能性についての議論は要旨に含まれていない。

要旨で参照されている研究は、τ^2-benchデュアルコントロールフレームワークとτ-Knowledge銀行環境である。また、関連する分野として、金融詐欺検出の静的ベンチマークや、一般的なエージェント安全性ベンチマーク（プロンプトインジェクションや有害使用を対象とするもの）が挙げられる。具体的な論文タイトルは要旨にないため、これらの一般名で示す。