公平性監査：企業による操作の下限界

本論文は、公平性監査（fairness auditing）における企業による事後操作（post-audit manipulation）の理論的下限を定量化する研究である。公平性監査は採用、融資、自動意思決定などの高リスク用途で義務化されつつあるが、監査予算が有限である場合に、監査後に企業がモデルを操作して不公平性を隠す余地がどれだけ残るかを、min-max最適化として定式化し、worst-caseのdemographic parity deviationの下界を導出している。

先行研究では、ブラックボックス公平性監査に対する不可能性結果（十分に表現力のあるモデルはあらゆる監査戦略を回避できる）が示されていた。本研究はこれを補完し、有限の監査リソース下で不可避な事後操作の程度を定量化した点が新しい。具体的には、監査予算、グループ不均衡、公平性許容度の関数として明示的な下界を導出し、監査リソースを増やしても操作の余地を完全には排除できないことを示した。

手法の核は、公平性監査を「計算能力無制限の企業」と「予算制約のある監査人」の間のmin-max最適化問題として定式化した点にある。監査人は固定サイズの監査セットを用いて公平性を認証する（budgeted auditor）か、さらに監査セットが認証モデルの公平性をα近似で推定することを要求する（budgeted α-tolerant auditor）という2つの監査体制を考察し、それぞれについてworst-caseのpost-audit demographic parity deviationの下界を理論的に導出した。

理論的な下界を、線形分類器とニューラルネットワーク分類器を用いた単純な監査セット構築ヒューリスティックによる実験で実証した。実験により、監査リソースを増やすと事後操作の余地は減少するが、完全にはなくならないという理論的限界を示した。

議論としては、監査リソースの増加が操作の余地を減らすものの、有限予算の公平性認証には根本的な限界があることを強調している。また、本研究はworst-caseの下界に焦点を当てており、実際の企業の操作行動や、より現実的な監査戦略の下での操作可能性については要旨からは不明である。さらに、demographic parityのみを対象としており、他の公平性指標への拡張は要旨からは不明。

要旨で参照されている先行研究として、ブラックボックス公平性監査の不可能性結果に関する研究が挙げられる。具体的には、十分に表現力のあるモデルが監査を回避できることを示した研究（例："Auditing black-box models for indirect influence"や"The impossibility of fair auditing"など）が関連する。また、公平性監査の一般的な手法やdemographic parityの定義に関する基礎論文も次に読むべきであろう。