欺瞞的なモデル提供者に対する操作耐性のある oblivious 監査

本論文は、機械学習モデルの監査（audit）において、モデル提供者が監査プロセスを操作することを防ぐための新しい監査プロトコルを提案している。特に、公平性評価の文脈で、提供者が機密属性を推測し、グループ間の割当率を戦略的に等しくすることで公平性指標を満たすように操作する問題に焦点を当てる。提案プロトコルは、Private Information Retrieval (PIR) を用いて、監査人が oblivious な方法でモデルにクエリできるようにし、提供者がどのインスタンスが監査に使用されるかを知らないまま大量のインスタンスにラベル付けすることを要求する。これにより、操作後の検出可能性を高める。

従来の監査は、宣言的または検出されやすいため、提供者が意図的かどうかにかかわらず操作が可能であった。特に公平性評価では、提供者が機密属性を推測し、公平性指標を満たすように戦略的に操作できる脆弱性があった。提案手法は、PIR を活用して監査クエリを oblivious にすることで、提供者が監査に使用されるサブセットを知らないようにし、操作を試みる場合に偽造しなければならない応答数を大幅に増加させる。これにより、操作の困難さと検出可能性を高める点が新しい。

手法の核心は、Private Information Retrieval (PIR) メカニズムを監査プロトコルに組み込むことである。監査人は、提供者に多数のインスタンスのラベル付けを要求するが、PIR により、どのサブセットが最終的に監査に使用されるかを提供者に知られないようにする。プロトコルは効率的で、監査人へのオーバーヘッドは最小限であり、監査対象モデル、そのトレーニング手順、推論パイプラインの変更を必要としない。理論的保証として、不公平を隠そうとする提供者は、より多くの応答を偽造する必要があり、検出の可能性が高まることを示す。

実験は、代表的な監査シナリオにわたって実施され、提案アプローチの有効性と実用性を確認している。具体的なデータセットや比較ベースラインは要旨からは不明だが、理論的保証に加えて、実験結果がプロトコルの有効性を示している。

要旨からは、提案プロトコルの限界や潜在的な欠点についての議論は不明である。ただし、PIR の計算コストや、提供者が大量のラベル付けを要求されることによる実用性の懸念が考えられるが、要旨では効率的でオーバーヘッドが最小限と主張している。また、提供者が PIR を回避する方法や、監査の obliviousness が完全に保証されるかについての議論は要旨に含まれていない。

要旨で参照されている関連研究は明示されていないが、同分野の定番として、Algorithmic Fairness の監査手法、Private Information Retrieval の基礎論文、およびモデル提供者による操作を扱った研究が挙げられる。具体的には、fairness audits に関する既存研究や、PIR プロトコルの効率的な実装に関する論文を読むことが推奨される。