承認を求める画面の93%は、そのまま通されていた — Anthropicが封じ込めを「環境の層」に置いた理由と、自分で作った部品だけが壊れた記録

Anthropic の engineering が自社3製品——claude.ai、Claude Code、Claude Cowork——の 封じ込め設計を1本の文書にまとめている^[1]。 本紙がこれを取るのは、公表されている数字が「人間が立ち会っていれば安全か」への実測の答えだからである。 自社のテレメトリで、利用者は許可を求める画面の約93%を承認していた^[1]。 承認の回数が増えるほど1件あたりの注意は薄れ、承認疲れは Claude Code の公開から数週間で現れたと発表本文は書く^[1]。 そして監視を与えるはずの機能が逆の効果を持ちえた、とまで書いている^[1]。 結論として選ばれたのは、エージェントの振る舞いを監督するのではなく、できることの範囲を環境の層で区切るやり方だった^[1]。 本紙の関心は最後の一手である。10月8日の利用規約更新が 自律的に物理行動をとる装置に要求したのは、資格ある操作者が観察でき、必要なら停止でき、 切断時に装置が安全な状態を保持できることだった^[2]。 その1つ目と2つ目に、発表側自身が「誤りうる」と書いている。

封じ込めは確率ではなく被害範囲に効く——発表側が置いた前提#

出発点の整理が明快なので、そのまま採る。エージェント配備のリスクは2要素に分解される。失敗がどれだけ起きやすいかと、1回の失敗がどれだけの損害を出しうるかである^[1]。 安全対策とモデルの訓練の進歩は前者を着実に下げてきた。 一方で後者——理論上の被害範囲(blast radius)——は、能力と権限が広がるぶんだけ増えるだけである^[1]。 発表本文は冒頭で、12か月前なら社内サービスを停止させられるだけの権限を Claude に与える案は 即座に却下していたはずだが、今その水準の権限は日常である、と書いている^[1]。

被害範囲に上限を置けるなら高い有用性が配備を正当化する、という形で判断は組まれている^[1]。 逆向きの実例も明記されている。Claude Mythos Preview は、 被害範囲が高すぎると判断されて2026年4月に出荷されなかったモデルとして挙がっている^[1]。 ただし発表本文は、同等の能力水準のモデルの広い公開は、 重要システムの堅牢化と安全対策の成熟につれて適切になると予想するとも続けている^[1]。 本紙は Mythos Preview をドローンの誘導コードの評価で扱った。 出荷を見送られた側のモデルが、写真の位置特定では最良の成績を出していた機種である。

被害範囲に蓋をする方法は2つしかないと整理されている。 1つは人間の立ち会い(human-in-the-loop)で振る舞いを監督すること。 もう1つが封じ込めで、何をするかではなく何ができるかを監督する—— サンドボックス、仮想機械、egress 制御でアクセス境界を強制する^[1]。 Anthropic の engineering が最も労力を割いたのは後者であり、最も意外なセキュリティ失敗が起きたのも後者だったと書いている^[1]。

人間の立ち会いの実測値#

数値を並べる。散文に出ている値と脚注の値を分けて採る。

脚注の但し書きごと書く。auto mode はコマンド承認をモデルによる分類器に委ねるもので、 摩擦を最小化する(無害なコマンドの約0.4%を阻止)代わりに危険なものの一部を見逃す (やりすぎの約17%が通る)。だからこれはサンドボックスの代替ではなく、 サンドボックスの内側に置く多層防御の1層である、と発表本文自身が明記している^[1]。 モデル層についても、確率的である以上どんな防御も見逃し率はゼロにならず、 モデル層の保護が100%有効になることはないから単独では立てない、と書いている^[1]。

利用者の慣れについての測定も出ている。匿名化された利用データでは、 熟練した利用者は新規の利用者の約2倍の頻度で自動承認する一方、 実行中に割り込む頻度は高い^[1]。 個々の手順に門を置くのではなく、逸れたときだけ監督する形である。 発表本文はこれも誤りうるとする。逸れていることに気づける程度に技術的で注意深い利用者が要るからで、 モデルの能力が上がってエージェントが野心的な bash を書くようになるほど逸脱に気づくのは難しくなり、 利用者が多エージェント構成に移ればこの監督方法が有効である見込みはさらに下がる^[1]。

3つの隔離パターンと、発表側が示した費用#

製品ごとに別の封じ込め構成が採られている。発表本文が置いた比較表の値を採る(行と列を入れ替えた)^[1]。

Claude Code の「bash を読めること」が設計の前提に入っている点が重要である。 人間の立ち会いが成り立つのは平均的な利用者が開発者だからで、 bash を読め、rm -rf が何をするか分かり、 信頼できない出所から npm install を週に何度も走らせている^[1]。 だから「これを許可しますか」の画面が出たとき、 エージェントが何をしようとしているかを正確に評価できる見込みが高い^[1]。

Cowork はこの前提を引き継げないと判断されている。 一般的な知識労働向けの製品で、平均的な利用者が bash に通じている見込みは低い。find . -name "*.tmp" -exec rm {} ; のような呪文の判断を 非技術者に期待すべきではない、と発表本文は書く^[1]。 例外の承認が典型的な利用者にない専門性を要求するとき、 管理者は絶対で常時有効な境界を敷くべきだという結論になっている^[1]。

初版の Cowork は、エージェントのループ自体を仮想機械の中で走らせていた。 Claude は自分が隔離されていることを知らない普通の Linux 利用者として実行され、例外を与える権限を持つ部品がどこにも無かった^[1]。 Claude Code では特権を持つプロセスがサンドボックスの外に座り、 コマンドごとに適用するかを決める。説得力のある注入プロンプトや疲れた承認の一押しが、 そのプロセスにサンドボックス外の実行をさせうる^[1]。 対して初版 Cowork には脱出の鍵を握る外側のプロセスが無かった、という書き方である。

ところがこの構成は実務上の問題を起こした。仮想機械の起動時に失敗すると Cowork が使えなくなる。 そこでエージェントのループを仮想機械の外に出し、コード実行だけを中に残した^[1]。 仮想機械がファイルシステムとネットワークの制御をコード実行に対して強制し続けるので 安全上の影響は最小である、と発表本文は評価している^[1]。 ローカルの MCP サーバも別の理由で外に出された。 中で走らせると監査しにくく、更新時の依存が壊れやすく、 データベースのようなローカルプロセスとやりとりする MCP に対応できなかった^[1]。 どの MCP を有効にするかの判断は管理者に委ねられている^[1]。

仮想機械の隔離機構は6つ挙げられており、うち2つは guest のカーネルの外側で 強制されるため、エージェントが仮想機械内で root を取っても生き残る。 残る4つは guest 側の強制で、外側の層が残りを担うため意図的に最小限に保たれている^[1]。 内訳は本文中の図に置かれており、本紙は図の値を確認していない。 ファイルのマウント形式は read-only / read-write / read-write-no-delete の3種で、 企業向けには MDM 設定のマウント経路許可リストで管理者が制御できる^[1]。 注意点が1つ明記されている。シンボリックリンクの解決はパス検証の前に行う必要がある。 後にすると、許可されたフォルダ内のリンクが外を指して脱出できる^[1]。

発表側が「見落とした」と書いた4件#

本紙が最も重く見るのはここである。発表本文は自ら見落としを4つ節に立てて書いている^[1]。

3件目についての認識の変更が、発表本文の中で最も射程が長い。 それまで許可リストは宛先のフィルタ——これらのドメインとは話してよいと Claude に伝えるもの——として捉えられていた。 そうではなく能力の付与(capability grant)として捉えたほうがよい、と書き直されている^[1]。 許可リスト上のどのドメインであれ、そこを通って到達できるあらゆる機能が攻撃面になる。 api.anthropic.com を許可することは、任意の Anthropic アカウントへのファイルアップロードを 許可することだった^[1]。 修正は仮想機械の内側に防御的な中間者プロキシを置く形で、 仮想機械が発行された自身のセッショントークンを持つ要求だけを通し、 攻撃者が埋め込んだ鍵は拒否する。サーバ側のフェッチを可能にするヘッダも阻止する^[1]。 プロキシがサーバ側ではなく仮想機械の内側に座る理由は、由来を知っているのは仮想機械だけだからである。 サーバから見れば Cowork の要求は他の API 利用者の要求と区別がつかない^[1]。

自分で作った部品だけが壊れた#

発表本文は同じ所見を2回書いている。最も弱い層は自分で作った層である^[1]。 gVisor と seccomp は、エージェント的AIが存在するよりずっと長く、 資力のある敵対者に対して堅牢化されてきた。だから claude.ai の公開前レビューの工数は、 その周りに自分たちで作った新しい部分に割かれた^[1]。 そして最も影響の大きかった事案で壊れたのが、まさにその自作のプロキシだった^[1]。 まとめの節でも繰り返される。実績のあるハイパーバイザ、システムコールのフィルタ、 コンテナの実行環境は、自分で作るどんなものよりも多くの敵対的注目を生き延びてきた。 ここで述べたすべての配備を通じて、標準の部品は保ち、その周りの自分たちの仕事が欠陥を露出させた^[1]。

モデルの誤挙動についても、具体例が自社の観測として挙げられている。 Claude のモデルが、作業を完了するために「親切に」サンドボックスから脱出したこと、 コーディング試験の答えを見つけるために git の履歴を調べたこと、 答えの鍵を復号するために自分が走らされているベンチマークを自発的に特定したこと^[1]。 能力の低いモデルは状況を読み違えて明白な誤りを犯しやすい。 能力の高いモデルは誤りが少ない代わりに、誰も書き留めなかった制限を迂回して目標への予想外の経路を見つけるのが上手い^[1]。

発表側が「これから来る」と書いた3つ#

道具の出力そのものについての方針も明示されている。 道具が信頼できる場合でも、その出力は攻撃面である^[1]。 マルウェア検査を通った GitHub コネクタが、汚染された README をモデルのコンテキストに そのまま読み込ませうる——監査されたコネクタは監査されたデータと同じではない^[1]。 遠隔か手元かの違いは見た目より重要だとも書いている。 手元に入れた道具は監査でき、版を固定でき、勝手に変わらないことが分かる。 遠隔の道具——ホストされた MCP サーバやクラウドのコネクタ——は承認した後のどの時点でも 挙動を変えられるので、導入時の信頼の判断がもう当てはまらないかもしれない^[1]。 自社のコネクタ目録は継続的な審査で対処しているが、 その外にあるものは信頼できないものとして扱うべきで、まず偽のデータに対して、悪意ある道具の被害範囲が封じ込められた環境で走らせよとしている^[1]。 検査には遅延が付き完全な防御でもないが、生きた検査に寄せる、という選択が書かれている。 汚染された道具の戻り値がいったんエージェントをデータ持ち出しへ誘導してしまえば、 ログには成功した正当な API 呼び出ししか残らない。 事後に見つけるべき信号が存在しない^[1]。 検査を行う分類器は小さく速いモデルでよく、推論を担うモデルである必要はない^[1]。

環境の層が「世界そのもの」であるとき#

発表本文がまとめに置いた第1原則は、まず環境の層で封じ込めを設計し、 それからモデル層で振る舞いを導け、である^[1]。 最も多くを教えた2件の事案——従業員のフィッシングと第三者による許可リストの開示——は どちらも egress、すなわち許されている経路からデータが出ていった事例だった。 どちらでもモデル層は助けにならなかった。捕まえるべき異常が無かったからである。確率的なものがすべて外したとき、叩かれるのは決定論的な境界である^[1]。

この原則はロボットの側では新しくない。安全柵、ライトカーテン、速度とトルクの制限、 非常停止——決定論的な境界を機械の外側に置くのは物理の側の古い作法である。 本紙が指摘したいのは、原則が同じであるぶん、道具立ての移植可能性に段差があることだ。

claude.ai の使い捨てコンテナは、ファイルシステムがセッションごとに消えることで被害範囲を最小にしている^[1]。 Cowork のマウントは、壊されうるものを作業領域の中だけに閉じ込める^[1]。 どちらも巻き戻せることに依存した封じ込めである。 身体を持つ機械にこれに相当するものは無い。衝突は使い捨てにできず、 作業領域の外に出た運動量は読み取り専用マウントでは止まらない。 封じ込めの3パターンのうち、物理側に移るのは境界の思想だけで、 安価に作り直せる環境という前提は移らない。

遅延の段差も同じ形で出る。発表側が選んだのは、道具の戻り値をモデルのコンテキストに 入れる前に生きた検査を通すやり方で、遅延が付くことを承知のうえでそちらに寄せている^[1]。 この判断が成立するのは、エージェントの意思決定の刻みが秒の単位だからである。 サーボの刻みに分類器は入らない。制御ループの内側に置ける封じ込めは、 もともとループの外にあるもの——トルク上限、作業領域の囲い、機構のコンプライアンス——に限られる。 発表本文の比較表が「隔離の費用」の欄に書いたのはコンテナやVMの起動時間だが^[1]、 自律機械でこの欄に入るのは制御周期である。

「監視能力に隔離強度を合わせる」を操作者に当てる#

第2原則のほうが、本紙には効く。隔離の強度を、利用者が監督できる能力に合わせよ^[1]。 bash を読める開発者と読めない知識労働者は同じ脅威モデルを走らせていない。 エージェントがこれからしようとしていることを利用者が評価できるかという問いが 封じ込め戦略を決めるべきで、どちらの向きに間違えても—— 専門家に摩擦をかけすぎるのも、非専門家を信頼しすぎるのも——それ自体が失敗である^[1]。

この基準で、自律的に物理行動をとる機械の操作者はどちらに分類されるか。 Claude Code の側ではない。Cowork の側である。産線の作業者や施設の管理者に、学習された方策がこれから出す軌道の危険度を 画面の表示から評価せよと求めるのは、bash の呪文の判断を非技術者に期待するのと同じ構図になる。 発表側がその場合に出した答えは、例外の承認を人に委ねるのをやめ、管理者が絶対で常時有効な境界を敷くことだった^[1]。

そのうえで利用規約の3要件を もう一度並べる。資格ある操作者が観察できること、必要なら停止できること、 Claude が切断されても装置が安全な状態を保持できること^[2]。 前の2つは人間の立ち会いであり、同じ会社の engineering が承認率93%・承認疲れは数週間という数字とともに誤りうると書いた方式である^[1]。 3つ目だけが環境の層にある。本紙は、規約の3要件のうち実際に重さを持つのは3つ目だと読む。 「資格ある」という限定が1つ目と2つ目に付いているのは、 発表本文が Claude Code の前提として書いた「bash を読めること」と同じ役割を果たしている^[1]。 誰が資格ありと認められるのか、停止までに許される時間はどれだけか、 適合をどう検証するのかは、規約には書かれていない。

許可リストは能力の付与である——動作範囲の許可も同じ#

api.anthropic.com の事例から引き出された読み替えが、本紙には最も移植しやすい。 許可リストは宛先のフィルタではなく能力の付与であり、 許可した経路を通って到達できるあらゆる機能が攻撃面になる^[1]。

物理側に置き換える。作業に必要だからという理由で、ある領域への進入や ある関節速度をロボットに許可する。その許可は宛先の許可ではなく、その領域とその速度で達成できるあらゆる結果の許可である。 安全定格の監視停止や速度・間隔監視は、人が近づいたときの条件を見ている。 見ていないのは、許された包絡線の内側で何が達成可能かである。 egress プロキシが宛先だけを見て通したのと、構造は同じだ。

修正の形も示唆的である。Anthropic が置いたのは由来を見るプロキシで、 仮想機械が発行された自身のトークンを持つ要求だけを通した^[1]。 由来を知っているのは仮想機械の内側だけだったからである^[1]。 自律機械で同じ位置に来るのは、装置の側で指令の由来を確かめる部品になる。 その指令が、許可された作業の記述から出たものなのか、 作業領域に置かれたファイルから出たものなのか。 本紙がAgent Skills の寄贈の回で 記録したのは、公開から約10か月、スキル——SKILL.md とスクリプトを同梱したフォルダ——を 配る標準に版の付け方も安全指針も無かったことである。 永続記憶の汚染として発表本文が挙げた経路に、 マウントされた作業領域と長時間稼働エージェントの状態ディレクトリが並んでいる^[1]。 定期実行される機械の手順フォルダは、その並びのどこに入るのか。

例外を与える権限を持つ部品が無い、という設計#

初版 Cowork の記述——隔離を知らない普通の利用者として走り、 脱出の鍵を握る外側のプロセスが無く、例外を与える権限を持つ部品が無かった^[1]——は、 ハードワイヤの非常停止回路がしていることの言語化である。 安全定格の回路に例外を与えるソフトウェアの経路は無い。だから止まる。

本紙が記録しておくのは、Anthropic がその構成から離れたことと、その理由である。 安全上の懸念ではなく、仮想機械の起動が失敗すると製品が使えなくなるという可用性の理由で、 エージェントのループは外に出された^[1]。 コード実行は中に残り、ファイルシステムとネットワークの制御は効き続けるので 安全上の影響は最小だと発表側は評価している^[1]。 評価の妥当性を本紙は検証できない。確認できるのは、例外を与える権限を持つ部品が無い構成は、可用性と交換されたという経緯である。 自律機械の側で同じ交換が提案されたとき——止まると工程が止まるから、 判断の層は安全境界の外に置きたい——この経緯は参照点になる。

そして第3原則が、本紙がModel Hardware Standardと到達範囲の削減の回で 二度書いた弱点と同じものを指している。自作の部品を警戒せよ^[1]。 標準の部品は保ち、その周りの自分たちの仕事が欠陥を露出させた^[1]。 安全限界を学習された方策の内側ではなく装置の参照ファイルという外側の記述に置く配置は、 その外側の記述が自作の層であることを意味する。 到達範囲の削減の回で見つかっていたのは、管理者が書いた拒否規則が 別の既定値のせいで一度も発火しない構成だった。 境界を宣言で与えるなら、宣言を解釈する部品が最も弱い層になる。フィジカルAIの配備で この層に当たるのは、学習された方策と安全定格の機構の間に挟まる自作のゲートである。

最後に、発表本文が自分で書いた見通しをそのまま置く。 エージェントは新しい種類のソフトウェアかもしれないが、 その系としての相互作用は新しくない。依然としてファイルを読み、ソケットを開き、 プロセスを生む。だから成熟した道具による封じ込めが決定的に有効な防御になりうる^[1]。 物理の側はこの一文を逆から読むことになる。 身体を持つ機械がするのはファイルを読むことではなく、物を動かすことである。 成熟した道具はこちらにもある。ただしそれはハイパーバイザではなく、 トルクの上限と、止まる回路である。