ロジットバイアスによる単一クエリのブラックボックス校正監査

本論文は、Large Language Models (LLMs) の校正（calibration）を、出力確率が隠されたブラックボックスAPI環境で監査する手法を提案している。具体的には、logit_biasパラメータを利用して、1サンプルあたり1回のクエリで正確な確率閾値を評価し、バイナリタスクにおけるTrue Calibration Errorの一貫した推定量を導入する。

従来の校正評価は、モデルの連続的な出力確率を必要とするが、商用APIプロバイダはこれを隠すことが増えている。本手法は、logit_biasパラメータを数学的に操作することで、確率閾値を直接評価できる点が新しい。これにより、標準的な校正指標が使えない環境でも、単一クエリで校正誤差を推定できる。

手法の核心は、logit_biasパラメータを調整して、モデルの出力ロジットにバイアスを加え、特定の確率閾値（例えば0.5）を跨ぐかどうかを判定すること。これにより、各サンプルについて、その閾値を超えるかどうかのバイナリ応答を得る。この応答を集計することで、True Calibration Errorの推定量を構築する。推定量は統計的に一貫性があると証明されている。

要旨からは、具体的な実験設定やデータセット、比較対象は不明である。しかし、提案する推定量が理論的に一貫性を持つことを証明し、実証実験により有効性を示したと述べられている。詳細な検証方法は要旨からは不明。

議論としては、提案手法がバイナリタスクに限定されている点が挙げられる。また、logit_biasパラメータが利用可能なAPIに依存するため、すべてのAPIで適用可能とは限らない。さらに、単一クエリで確率閾値を評価するため、サンプル数が少ない場合の推定精度や、閾値の選択が結果に与える影響についての考察が必要かもしれない。

要旨で参照されている研究は明示されていないが、関連する分野として、LLMの校正評価に関する既存研究（例：Expected Calibration Error）や、ブラックボックスモデルの監査手法、logit_biasの利用に関する研究が考えられる。具体的には、"On Calibration of Modern Neural Networks"や"Language Models (Mostly) Know What They Know"などが関連する。