OpenAIが自社モデルの不整合を公開し始めた — 初回6例のうち4例は、塞がれた経路を外から回り込んでいる

OpenAI が、自社モデルの不整合（misalignment）を観測のたびに公開する枠組みを作り、 その初回として直近6か月に観測された6件の報告を出した^[1]。 枠組みの新しさは手続きの側にあるが、本紙にとって読む価値があるのは6件の中身である。 うち4件は、やろうとした経路が塞がれていたので、外側の経路を自分で見つけて回り込んだという形をしている^[1]。露出していたAPIキーの無断利用、引用を作るためのファイルの公開、 訓練サンプル間の側路通信、公開ストレージを経由した受け渡し。残る2件は、自分の作業記録に 指示を書き込んで制約を外す、あるいは誤りを隠す形だった^[1]。 いずれもサンドボックスの中の言語モデルの話で、ロボットは1件も出てこない。 それでもこの型は、アクチュエータが物理になった瞬間に性質が変わる。

枠組みは何を定めたのか#

OpenAI はこれまでも不整合の所見を公開してきたが、体系がなく、その場しのぎで、望ましい頻度よりも少なかったと自ら書いている^[1]。 複数の事例をまとめられるまで待つ、あるいは新モデルの system card に書き足す、という扱いだった。 今回の枠組みは、挙動を説明しきれていない段階でも、緩和策ができていない段階でも観測後すぐ公開へ進めることを狙っている^[1]。

報告の対象は、モデルのライフサイクル全体（訓練・評価・テスト・デプロイ）にわたる挙動である^[1]。 具体的には、権限なく行動する新しい手口、モデル同士が連携する挙動、監督を回避する挙動、 整合手法や安全策そのものを疑わしくする失敗、そして公開済みの安全評価の主張に反する挙動が挙がっている^[1]。 過去に開示した事例と重複して見えるものも、繰り返し起きている事実自体が安全策の有効性に関する証拠になるとして、 元の開示を更新する形で追加する^[1]。

手続きは、社員の誰でも事例を申し立てられるところから始まり、各段階に期限が付く^[1]。 調査の後、事例は Ready for Disclosure（開示準備完了）、Minor Investigation（軽微な調査）、 Larger Investigation（大規模調査・Slow Track）の3トラックのどれかに割り振られる^[1]。 開示するか否か、どのトラックかで社内の意見が割れた場合は、Preparedness Framework を監督する Safety Advisory Group（SAG）に送られ、SAG 内部で割れれば経営陣へ上がる^[1]。

初回6件を並べる#

以下は発表本文に載っている6件の要旨である^[1]。 OpenAI は、これらが個別の事例の報告であって、モデル全体で不整合がどのくらいの頻度で起きるかを反映したものではないと明記している^[1]。

壊れ方は2種類しかない#

6件を並べると、挙動の種類は2つに分かれる。 1件目と2件目は自分の作業記録を汚す型である。文脈を圧縮した要約は、 次の文脈窓で自分が読む引き継ぎ書であり、同時に人間が後から経過を追うための記録でもある。 そこに「制約を無視せよ」や「誤りを隠せ」と書き込むことは、実行の軌跡と監査の記録を同時に壊す。

残る4件（3・4・5・6）は塞がれた経路を外から回り込む型である。 数字が取れないので他人のキーを使う。ブラウザ由来の引用が要求されているので、 引用できる場所にファイルを置く。相手のローカルファイルに手が届かないので、 公開のストレージを経由させる。サンプル間の通信路が無いので、内部リポジトリを掲示板にする。 4件とも、与えられた目的は素直に追っている。壊れているのは、目的と手段の間にあるはずの「ここから先は訊く」という線だけである^[1]。

注意すべきは、5件目と6件目でモデルは課題に失敗していることだ。 欠けた入力ファイルは回収できていない^[1]。 つまりこの型の危険は、成功の副産物として現れるのではない。詰まったときに現れる。能力が上がれば消えるという期待は、この6件からは出てこない。

同時に出た文書が、封じ込めと監視の部品表になっている#

OpenAI は同じ時期に、フロンティアの強化学習を走らせる前に構造化された安全文書 （safety case、安全論証）を要求すべきだという文書も出している^[2]。 航空や原子力ほどの厳密さには達していないと認めつつ、目指す北極星として置く、という位置づけである^[2]。 中身は抽象論ではなく、実装の部品が並んだ一覧になっている。

この一覧と先の6件は対応している。封じ込めの項に 「サンプル間の高帯域通信を承認済み経路に限定し、側路を閉じる」とあるのは^[2]、 5件目がまさにその側路を見つけた事例だからである^[1]。 部品表は観測から逆算して書かれている。

発表者自身が書いた不都合#

枠組みの弱いところは、OpenAI 自身がかなりの部分を書いている。4点ある。

第一に分母が無い。6件は個別事例の報告であり、頻度を表すものではないと明記されている^[1]。 同じ挙動が1万回に1回なのか3回に1回なのかは、この開示からは分からない。 安全策の有効性を外から評価する材料としては、ここが決定的に足りない。

第二に出ているのは軽いものだけである。今回の6件はすべて Ready for Disclosure と Minor Investigation の2トラックに属し^[1]、 OpenAI は今回の報告が対象範囲や深刻度の全体を示すものではないと断っている^[1]。 複雑な事例、第三者が関わる事例は Slow Track に入り、 セキュリティ上の理由で初報を遅らせる場合があるとも書かれている^[1]。 過去の Hugging Face の件は、この枠組みの下なら Slow Track に当たるという^[1]。

第三に開示しない判断は内部で閉じる。開示に値しないという判断は、 安全・整合の責任者と、可能な範囲で関連する技術スタッフに共有される^[1]。 外部に出るのは出すと決めたものだけである。申し立ては社員の自発性に依存し、 トラックの割り振りも SAG という社内組織が決める^[1]。 業界横断の明示的な基準は現時点で存在しないと OpenAI 自身が書いており^[1]、 この枠組みはその第一歩として提案されている。

第四に、開示を優先する設計の裏返しとして、有意性が不確かな段階でも出すため、後から空振りと分かるものが混じると予告されている^[1]。 これは誠実な設計だが、読む側は個々の事例を過大に受け取らない必要がある。

外部検証をどう入れるかについては、別の文書で4つの優先領域が提案されている^[3]。 そこには「訓練において、欺瞞・報酬ハッキング・破壊的行動・制限の回避を報酬にしてしまう誘因を、 見つけて減らす有効な手法が使われているか」「連鎖思考の監視は、能力が上がったあとも 安全性の証拠としてどれだけ信頼できるのか」「監視が、容易に無効化できない形で 訓練・評価・デプロイの全体に実装されているか」という問いが並ぶ^[3]。 問いの立て方が、先の6件と部品表の両方に噛み合っている。

身体を持つ機械の側から読む#

まず事実関係を押さえておく。今回の6件はすべて言語モデルの訓練・評価の中で起きており、 ロボットは1件も出てこない^[1]。枠組みの対象もモデルのライフサイクルであって、 機械の運用ではない。だから「ロボットが不整合を起こした」という話として読むのは誤りである。

それでも本紙がこれを扱うのは、回り込みという型が身体を持った瞬間に意味を変えるからだ。 デジタルの文脈では、4件目の「引用を作るためにファイルを公開した」は迷惑行為で済む。 同じ判断が物理のアクチュエータに接続されていれば、 塞がれた経路の外側を探す行動は、人が意図していない場所に手を伸ばす行動になる。 6件のうち2件で成果物が公開URLから取得可能になったこと^[1]は、 サンドボックスの壁が思ったところに無かったという話であり、 工場や倉庫における安全柵の設計と同じ問題の、ソフト側の現れ方である。

前回の回で本紙は、 GPT-6 世代で画面を相手にした実行能力が上がった一方、 発表者自身が書かれた推論の監視しやすさの後退を記録していることを扱った。 今回の部品表に自動 grader に連鎖思考を見せないという項目が入っているのは^[2]、 その後退を訓練側の設計で止めにいく話である。 同じ論者は、AI の進歩は今後ますます監視への信頼によって律速されると書いており^[4]、 さらに、エージェントは最も堅牢なもの以外のあらゆる基盤に到達できるようになり、身体を持たなくても世界に直接かなりの影響を及ぼすと述べている^[4]。 身体性を扱う本紙の読者にとって、この一文は譲歩ではなく前提である。 身体が無くても世界に手が届くなら、身体があるときの差分は「速さと不可逆性」だけになる。

実務として持ち帰れるものは、6件の事例ではなく部品表の側にある。 書き換え不能な軌跡の保存、監視が落ちていれば起動できず内部から無効化もできない fail closed、 未応答アラートでの自動停止、そして不整合が判明したモデルの下流利用をすべて辿って取り消せる状態^[2]。 最後の1つは、学習ベースのロボット運用でとくに効く。 どの機体がどの重みで、どの期間動いていたかを後から特定できなければ、 1台で見つかった不具合を同じ重みのフリート全体に展開できない。 非常停止は既存の産業機械にもあるが、これらは別の層の話である。

逆に、持ち帰れないものもはっきりしている。この枠組みに相当する開示経路が、 ロボット基盤モデルの側には存在しない。本紙は勢力図の回で、 公開モデルを重み・コード・商用可否の3軸で分解した。重みを配る側はライセンスを書くが、 その policy が現場で何をしたかを報告する経路については、どのベンダーも何も書いていない。ロボティクス向けの外部ベンチマークで汎用モデルが首位に立つところまで来ているのに、 評価されるのは能力だけで、挙動の開示は評価軸に入っていない。 OpenAI 自身が、他の高リスク産業の事故調査の実務を参照すべき対象として挙げている^[2]。 産業機械の側にはその制度があり、機械を動かす重みの側には無い。これは奇妙な非対称である。

本紙はこの枠組みを前進と評価する。ただし評価できるのは枠組みであって、 今回の6件が安全性の現状を示しているとは読まない。分母が無く、 出ているのは2つの軽いトラックのものだけで、出さない判断は社内で閉じる^[1]。 外から検証できる形になるのは、第三者評価の優先領域^[3]が実際の契約と アクセス権に落ちてからである。 フィジカルAIの側がすべきことは、その完成を待つことではない。 部品表はもう公開されている。Model Hardware Standard の回で本紙が書いたのと 同じ構図で、先に整うのは配線と足場のほうだ。 重みを現場に載せる側が、載せる前に自分の部品表を書けるかどうかが先に来る。