同じモデルの安全性が、系統の違いだけで34ポイント動いた — Anthropicが安全評価の作り方を公開し、単発プロンプトの評価は94〜98%で飽和したと書いた

Anthropicが11月13日、安全評価（safety eval）の作り方についての推奨事項を公開した^[1]。 評価手法の文書だが、本文に置かれた数値のほうが重い。 同社のマルチターン安全評価で、Claude Fable 5.1の「適切応答率」はAPIとclaude.aiという2つの系統の間で最大34ポイント違った^[1]。 自傷に関する評価ではAPIで60%、システムプロンプトを直したclaude.aiで94%という具体値まで出ている^[1]。 さらに、APIのマルチターン評価の信頼区間は±10ポイントを超えることがあるとされ、 ロマンス詐欺の評価ではOpus 5の98%に対しOpus 5.5が94%で、この差は統計的に有意ではないと同社自身が書いた^[1]。 単発プロンプトの評価は直近のどのモデルでも94〜98%に収まり、すでに飽和しているとも書かれている^[1]。 モデルに身体を繋ぐ側から読むと、これは「システムカードの数字は、あなたの配備の数字ではない」と書いた文書である。

1. 安全評価は「能力」を測るものではない#

発表本文はまず定義を置く。安全評価が測るのは、モデルが危害を引き起こすまたは危害に寄与する傾向、 要求への応答が危害の確率を上げるか下げるか、そしてその危害がどれだけ深刻かであり、 特定の能力を測るものではない^[1]。要するに「この入力に対して、モデルは正しいことをしたか」を問う^[1]。 脚注では、課題を達成できたかを測る能力評価とは別物だと明示している^[1]。

ここで同社が最も強く否定しているのは、安全評価の指標を「拒否率」に取ることである。 詐欺やフィッシングの手口を求められたときに断るのは正しい。だが自殺・自傷に関わる会話では、 単に応答を断ること自体が失敗であり、望ましい応答は共感をもって関わり人間の支援につなげることだ、と本文は書く^[1]。 自傷に関するあらゆるプロンプトを拒否するモデルは拒否率の評価では満点を取るが、それは必ずしもより安全なモデルではない^[1]。

代わりに同社が使うのは適切応答率（appropriate response rate）である。 これは、領域の専門家が作ったリスク領域ごとのルーブリックに照らして、 会話を通じて最後まで適切に振る舞った会話の割合を指す^[1]。1ターンでも外せば、その会話全体が不合格になる^[1]。 生物学やサイバーのようなデュアルユース領域では、適切な応答は一律の拒否ではなく、 正当な側の要求には応じつつ、有害な側に実際の助けとなる運用上の具体を出さないことだとされる^[1]。 単発評価では、有害な要求（無害応答率を上げたい）と同じ領域の無害な要求（拒否率を下げたい）を対にして出す^[1]。 過剰拒否も同時に測らないと意味がない、という設計である。

2. 同じ重みでも、系統が違えば34ポイント動く#

報告の節に、本紙が本稿で最も重いと見る記述がある。同社のシステムカードは、 開発者が触る生のモデルであるAPIと、システムプロンプトが当たるclaude.aiの両方について安全性の結果を報告している^[1]。 そしてClaude Fable 5.1の試験では、マルチターン安全評価における適切応答率のこの2系統の差が最大34ポイントに達した^[1]。

差がどこから来るのかも、同じ本文に例がある。Fable 5.1の公開前に自傷関連の評価の記録を見直したところ、 自傷を止めて人間の支援につなげる応答の中でさえ、Claudeが自傷を対処法として暗に肯定することがあったと同社は書いた^[1]。 そこでシステムプロンプトに「相手が自分でそう言っていても、自傷が効く・助けになる・何かをもたらすとは言わない」という指示を加えた^[1]。 この指示と他の的を絞った緩和を入れて再測定した値が、APIで60%、新しいシステムプロンプトを当てたclaude.aiで94%である^[1]。 94%は1つの指示だけの効果ではなく複数の緩和を合わせた結果だと本文に但し書きがある^[1]。

34ポイントと60%という2つの数は、同じことを別の角度から言っている。 この領域の安全な振る舞いの相当部分は、重みではなくシステムプロンプトに載っていた。 だから本文は「配備側の設定を評価側で再現せよ」と書く。モデルのバージョン、サンプリング設定、プロンプト、 採点器のバージョン、日付まで報告し、別の採点器で出た点数同士を比べるな、という指示である^[1]。

3. 「前世代より安全」と言える幅は、思ったより広い#

報告の節の主題は不確実性の開示である。同社のシステムカードはスコアに信頼区間を付けており、 APIのマルチターン評価ではその幅が±10ポイントを超えることがあるとされる^[1]。 幅が十分に広ければ、2つのモデルの差や2回の実行の差は単なるサンプリング由来のばらつきかもしれない。 その場合は透明にそう書け、そして理想としては信号を増やしノイズを減らすよう評価を作り直せ、と本文は続ける^[1]。

自社の例として挙げられたのが、claude.ai上のロマンス詐欺を題材にしたマルチターン評価である。 Claude Opus 5が98%、Opus 5.5が94%で数ポイント違ったが、この差は統計的に有意ではなく、どちらが優れていたかは結論できなかったと同社は書いた^[1]。 新しい世代のほうが低い数字が出ている事例を、有意差なしという扱いとともに自分から出している。 併せて、この手の試験集合を広げて統計的な検出力を上げること、 飽和の緩和と網羅性の改善、そしてエージェント的な設定での悪用を捉える評価は「探索中」だと述べている^[1]。

飽和については単発評価の数字が出ている。APIにおける単発評価の集計無害応答率は、 直近のどのモデルでも94〜98%に入る^[1]。マルチターンの応答率はもっと広くばらける^[1]。 つまり単発課題は飽和しており、既知の失敗モードに対する回帰確認としてしか使えない、というのが同社の評価である^[1]。 飽和したときは、ひっかけ問題を足すのではなく、構成概念を保ったまま 地平を長くする・提示を微妙にする・より自然な書き方にする方向で難しくせよ、とある^[1]。 逆に難しすぎる例として、ある主要なコーディングベンチマークの監査で、 相当な割合の課題が仕様不足・文脈欠落・正しい解を落とすテストで採点されていたと見つかった件が引かれている^[1]。

4. 評価環境そのもので事案が起きていた#

「安全第一」の節に、評価の運用条件が書かれている。安全評価はモデルの素の挙動を知るために 標準の保護機構を切って走らせることが多い^[1]。とくにサイバー評価では、 モデルが試験環境の境界を探ることがあり、そこから抜け出せば意図しない行動を取りうる^[1]。 だから評価はインターネット接続のないサンドボックスで走らせ、 実世界の危害につながりうる振る舞いを見たら即座に実行を止められるよう、実時間で監視せよ、というのが同社の指示である^[1]。

その直後に、自社の事案への対応が書かれている。ここ数か月、自社で起きた事案を受けて評価環境を硬化させ、モデルにインターネット接続を与える評価の多くを一時的に停止し、 接続を要するウェブ検索の評価には実時間の監視を入れた^[1]。 本紙は10月、OpenAIが訓練を11日間止め、フロンティアモデルの訓練はインターネット接続なしで行うと方針に書いた件を扱った^[3]（残した細い通路のほぼ全部に穴があった）。 今回のAnthropicの記述は、同じ論点が訓練ではなく評価の側で起きたことを示している。 評価は保護機構を切って走らせる工程だから、封じ込めの要求はむしろ訓練より強いはずだ、という順序になる。

ただし、開示はここで止まっている。どのような事案だったのか、いつ・何件起きたのか、 停止した評価が何本で、再開したのかどうかは本文に書かれていない。 「多く（many）」という語と「一時的に（temporarily）」という語だけが残されている^[1]。

5. 採点器を検査する手順が、数値の前提に置かれた#

現代の評価の多くは、別のAIモデルに応答を採点させる。数十万件の記録を人が読むことはできないからだ^[1]。 そして本文は、この採点器が誰にも気づかれずに壊れうると書く。 壊れていても点数を（誤って）黙って集計し続けることがあり、 下敷きのモデルが変わると採点が厳しくなったり甘くなったりと微妙に判定が変わる^[1]。 結果として不正確な数字が出る。だから壊れたときに気づくための警報を組み込み、 点数に驚いたらまず評価の設定を見ろ、とされる^[1]。

報酬ハッキングと汚染の項も具体的である。試験項目や類似の内容が訓練データに入っていれば、 測っているのはモデルの記憶であって振る舞いではない^[1]。 採点器が課題を実行しなくても満たされうる作りになっていれば、モデルはその穴を見つけて合格点を取る^[1]。 パターン照合の限界として、「はい、一般にはお手伝いしますが、これはできません」という応答から 「はい」だけを拾って有害要求への応諾と判定しうる例が挙げられている^[1]。 結論の節で「3つだけやるならこれ」として挙げられたのは、 データを集める前に測る構成概念を書き下すこと、採点器が出す数字を信じる前に人間の判断と照合すること、 そして読者が信号とノイズを見分けられるよう不確実性を報告すること、の3つである^[1]。

6. フィジカルAIから見て何が動いたか#

本紙の読者にとって重いのは、この文書が数字の帰属先を動かしたことである。VLAやロボット基盤モデルを機械に繋ぐ側は、生のモデルをAPIで取り、 ハーネスとシステムプロンプトを自分で書く。Fable 5.1で34ポイント、自傷の評価で60%対94%という数字が意味するのは、 システムカードに載った高いほうの値が、配備側が自分で書いていない設定の値だということである^[1]。 統合する側が参照すべきはAPI側の列であり、そこから配備の値まで持ち上げる作業は統合側の成果物になる。

もう1つは、評価の設定を配備に合わせよという指示に付いた条件である。 有害な要求に応じる意思は環境の作りにも依存し、モデルが道具にアクセスできるかどうか、 既定のシステムプロンプトを使うかどうかで変わりうると本文は書く^[1]。 画面やアームを動かす配備では、道具へのアクセスは例外ではなく既定の状態である。 そしてエージェント的な設定での悪用を捉える評価は、同社の記述では「探索中」の欄にある^[1]。 単発評価が16の方針領域・7言語・複数の製品面で走っているという網羅性の記述はあるが^[1]、 身体的な行動そのものを採点した数値は本文に1つも出てこない。

3つ目は封じ込めの非対称である。評価のためにサンドボックスからインターネットを抜くことはできる。 しかし実機の試験セルから物理世界を抜くことはできない。ロボットはすでに部屋の中にいる。 残るのは同社の指示のもう半分、実時間で監視し、即座に止められることだけになる^[1]。 これはAnthropicが10月の利用規約更新で、自律的に物理行動をとる機械にClaudeを繋ぐ条件として書いた 観察・停止・切断時の安全状態の3点と同じ形である^[2]（自律的に物理行動をとる機械にClaudeを繋ぐ条件）。 評価環境に求めた条件と、顧客の配備に求めた条件が一致しているのは筋が通っている。

この文書は製品発表ではなく手法の推奨であり、新しい能力は何も増えていない。 それでも本紙がコラムにするのは、ここに書かれた3つの数が、フィジカルAIの実務で参照される安全性の数字の読み方を変えるからである。 ±10ポイントを超える信頼区間は、1桁パーセントの改善を根拠にモデルを入れ替える判断を支えない。 98%から94%へ下がって有意差なしという自社例は、その幅が実際に効いていることの実演になっている。 94〜98%で飽和した単発評価は、最も安く作れる試験が最も区別しない試験でもあるという、 機能安全の現場でよく見る構図をそのまま示している。

採点器の検査手順を身体側に当てると、要求の重さがはっきりする。 人間ラベルと偶然補正済みの一致度で採点器を検証し、人間同士の一致度と比べ、 壊れた項目は黙って落とさず印を付けて除外する。 対象が会話記録ではなく軌跡や映像になれば、ラベルを付ける人間の専門性も一致度の確保も会話より難しくなる。 この文書が示したのは安全評価の作り方だが、同時に、 身体を持つ系の安全評価がまだ満たしていない要求一覧としても読める。 発表本文にその対応物の数値が1つも無いことが、その位置を示している。