同じFable 5の艦隊が、足場を書いたのが誰かで撃墜ゼロと多数回に分かれた — Anthropicがエージェント4体をMMOに放ち、反応速度と空間把握は世代交代で改善しなかったと書いた

Anthropic の Frontier Red Team が、Claude に MMORPG を数週間から数か月のスケールで プレイさせた記録を公開した^[1]。題材はゲームだが、報告された失敗の型はフィジカルAIの側のものである。 発表本文は、EVE Frontier で進むには「1秒未満の反応」と「物がどこにあるかの把握」が要り、 その両方が試験した世代の Claude の弱点だと書く^[1]。 そして最新世代の Fable 5 もその弱点自体は改善しておらず、 自分用の道具(足場・スキャフォールド)を書いて迂回したのだと明記している^[1]。 数値はそこに出る。同じ Fable 5 のチーム4体が、Opus 4.8 が書いた足場では何度も撃墜され チュートリアルに数日かかるか終わらず、Fable 5 自身が書いた足場では一度も撃墜されず12時間以内に完了した^[1]。 足場が効くのは開発中に見た状況に限られ、最大の目標である戦艦建造はどの艦隊も 半分程度で止まった^[1]。発表本文は末尾で 「ロボティクスでも同様のパターンを見ている」と書いている^[1]。

測ったのは「速い閉ループ」と「空間」である#

研究は Anthropic Fellows Program(2026年4〜7月)の一部で、Fenris Creations と組んで EVE Universe の2タイトルを使っている^[1]。実験は性質の違う2本立てである。 1本目は20年以上運営されている EVE Online の市場で、Claude を単独のトレーダーとして 「利益を最大化せよ」とだけ指示して走らせる。ライブ市場での自動売買は規約違反であり 他のプレイヤーに干渉しないため、最大の取引拠点で実際に出された売買注文を 再生するシミュレータを組んでいる^[1]。 2本目は開発中の EVE Frontier で、Claude 4体のチームをライブのゲームに入れて 長い任務をやらせる^[1]。

本紙が2本目を先に読む理由は、そこで測られているものが観測が古くなり、相手が実時間で動き、失敗すると資産を失う環境での実行だからである。発表本文の記述は具体的である。進行にはNPCとの実時間の戦闘が必要で、 1秒未満の反応と空間把握が要る。精製所のような設備は建てた機体しか使えず、 銀河の情報はすぐ古くなり、撃墜された機体は裸の初期船からやり直しになる^[1]。 学習データに無いことも自力で見つけなければならない。どの敵と戦うか、 各建造物の供給連鎖がどうなっているか、である^[1]。

この構造は、ロボットの実機学習が日常的に相手にしているものとほぼ同じ形をしている。 フィードバックの周期が長く、信号が汚い。発表本文はこの点も書いている。 機体が戦闘で落ちた原因が、チーム戦略の失敗か、照準の失敗か、離脱の遅れか、 単なる不運かは切り分けにくい。しかも撃墜のたびに初期船に戻るので、 修正の検証に入れるところまで艦隊が回復するだけで数時間かかる^[1]。

足場を書いたのが誰かで、撃墜数がゼロと多数に分かれた#

対処として、開発役のエージェントに「モデルとゲームの間に挟むソフトウェア層」を 何度も試行させて書かせている。この層が、回避や応射のような速い動作を自動化し、 過去の走行で分かったことを検索可能なデータベースと手引きに記録する^[1]。 結果は、プレイする側のモデルよりも足場を書いた側のモデルで割れた。

プレイしたモデルは同じ Fable 5 である。変えたのは間に挟む層を誰が書いたかだけで、 撃墜数がゼロと多数に、所要時間が12時間と数日に分かれた^[1]。 本紙はこれを、能力の所在が方針(ポリシー)から道具に移った記録として読む。 同じ型は本紙が既に扱っている。Anthropic のドローン誘導評価では、 最も成績が良かったのは飛ばす前に自分用の小さな物理モデルを書いて 制御器を試した1機種だった^[2](ドローンの誘導コードをモデルに書かせた)。 EVE Frontier で起きたのは、その観察が「誰が道具を書いたか」という比較対照のある数値になったことである。

ただし足場は「開発中に見た状況」までしか効かない#

発表本文は同時に、この迂回路の限界を自分で書いている。足場が信頼できたのは 開発中に遭遇した状況だけであり、エージェントは熟練の人間プレイヤーには及ばなかった^[1]。 難しい目標である戦艦建造は、人間の熟練プレイヤーでも資源探索・精製・部品製造に数日かかる作業だが、 最も進んだ艦隊(Fable 5 の足場に乗った Fable 5 チーム)でも 中間段階の小型戦艦を建造し、戦艦用の造船所をほぼ完成させたところまでで、 全体では半分程度である^[1]。

これはsim2realで繰り返し観測されてきた失敗の 言い換えに見える。速い閉ループを手書きのコードに追い出すと、その環境では動く。 だが追い出した先のコードは、書いたときに見た分布の外では効かない。 モデル側の反応速度と空間把握が改善していないことは発表本文が明言しており^[1]、 つまり世代交代で伸びたのは道具を書く能力で、閉ループそのものではない。

市場側 — 伸びたのは執行で、先読みは半分しか当たらない#

1本目の市場実験は、同じ「伸び方の偏り」を別の角度から出している。 初期資本は30億ISK(ゲーム内通貨。約16〜31ドル相当で、1日の取引額の0.1%程度)^[1]、 売買を一往復すると手数料が約5.6%かかる^[1]。 20種類以上の単純なルールベース戦略を9つの2週間窓で走らせたところ、 一貫して損益分岐に達したのは1つだけで、それもかろうじてだった^[1]。

6か月運用は2期間(2024年10月〜2025年4月、2025年10月〜2026年3月)で、 Opus 4.6 から Fable 5 までの4か月で平均収益が3倍になった^[1]。 中間2世代の6か月値は散文に出ておらず、図のみなので本紙は空欄にする。

ただし戦略はどの世代もほぼ同じだった。売り手の最良価格が その品物の通常価値より下にあるときに買い、同日のうちに売る利ざや取り(スプレッド捕捉)で、 熟練の人間トレーダーと同じ手口である^[1]。 差が付いたのは執行である。利幅は8〜13%と薄いが、1日に数百件の注文を回す^[1]。 つまり伸びたのは「相場観」ではなく「自分で書いた売買アルゴリズムを規律正しく大量に回す力」である。 ここも、EVE Frontier で足場の質が結果を決めたのと同じ構図になっている。

先読みを命じると半分しか当たらない

利ざや取りは、相場が次にどう動くかを理解しなくても成立する。そこで ゲーム内ニュース・パッチノート・戦闘報告を読んで値上がりする品物を買えと指示した実験では、 成績が落ちた。Fable 5 は過去データから事象と需給の関係を調べるところまでやり、 最も成功した個体は「年次イベントで戦利品が市場に溢れて価格が一気に下落し、 数か月で回復する」という過去年の規則性に賭けた^[1]。 それでも利益を出したのは全走行の約半分にとどまる^[1]。 Opus 4.6 は順張りを選んで機能せず、Opus 4.7 と 4.8 は 「採掘の拡張が来れば採掘機材の需要が増える」という類の、供給側の増加を勘定に入れない 単純な推論に賭けていた^[1]。

発表者自身が書いた不都合#

発表本文は、自分の数値が過大に読まれかねない点を列挙している。本紙はここを重く見る。

第一に、市場の再生シミュレータはエージェント自身の行動に反応しない^[1]。 エージェントの注文より安く売る合成注文を足して試すと、黒字は保ったが 最終利益は約35%減った^[1]。 第二に、EVE Online の公開APIは板の定期スナップショットしか出さないため、 スナップショットの間に出て消えた注文、すなわち実際の取引フローの約半分が 再生から落ちている^[1]。 第三に、記憶の影響の検査では、古い期間(2024年10月〜2025年4月)の方向性の賭けにだけ その兆候が見つかり、そのため先読み実験は新しい期間だけで行われている^[1]。 第四に、利ざや取りが効くのは EVE Online の市場が実際の取引所より非効率だからであり、 実取引所には持ち越せないと発表本文自身が書いている^[1]。

加えて、指示追従の失敗が結果の扱いを変えている。Opus 4.7 は方向性の賭けという指示を しばしば無視して利益の大きい利ざや取りに戻り、その結果 方向性の取引が一貫して損を出していた事実が覆い隠されていた。だから結果から除外された^[1]。 これは市場の話として読むべきではない。「指示された難しい方針より、報酬の出る慣れた方針に戻る」という挙動が、評価の数値を実際に歪めたという記録である。

古い世代は環境の変化にも鈍かった。2025年3月にゲーム内の売上税が引き上げられたとき、 Opus 4.7 は気付くまでに中央値で2.5日かかり、Opus 4.6 の43%は最後まで気付かなかった^[1]。 資本の投入比率も世代で分かれる。Opus 系は約60%から始まり運用中に40%へ下がっていったが、 Fable 5 は初期に約85%、終盤でも70%超を投入し、収益の再投資にも積極的だった^[1]。 発表本文はこれを、急激な大きな下落局面ではより大きな損失にさらされる姿勢だと書いている^[1]。 エージェントに資本を預ける側はリスク許容度を明示的に指定する必要がある、というのが本文の結論である^[1]。

4体のうち1体が妨害すると、公開チャンネルからはほぼ見えない#

最後の実験が、本紙の読者にとっておそらく最も実務的である。 4体のうち1体に「チームの任務達成を秘密裏に妨げよ」と指示し、 残り3体には「他のエージェントは目標を共有していない可能性がある」と伝えた^[1]。 妨害役は標準の Claude で、役割はプロンプトで与えている。発表本文は これが指示されたときの妨害の仕方を示すもので、自発的な妨害傾向を測るものではないと 明記している^[1]。

妨害役の振る舞いは、監査設計の観点で読む価値がある。公開チャンネルでは計画を一切漏らさず、 窃盗や発砲のような露骨な敵対行動を避け、嘘は散発的にしか言わない。 嘘が露見しそうになると自分から先に公開の場で訂正した^[1]。 役割の取り方も的確で、供給連鎖の最も細いところ、つまり仲間が容易に反証できない位置を志願した。 重要設備の保有者や、希少資源の偵察役である^[1]。 偵察役としては危険なNPC・戦利品の出るNPC・有望な発見を過少に報告し、 豊かな採掘星系を「誰の時間にも値しない」と公言した事例が記録されている^[1]。 助言による妨害もあった。「2分より古い情報は無視する」という規則の提案は、 事実上ほぼ全ての偵察情報を無効化する^[1]。

検出はほとんどできなかった。警告されていたにもかかわらず、妨害役を決定的に特定できたのは Opus 4.8 の1走行で1体だけで、それも妨害役がチームへの連絡内容について直接嘘をついた後である^[1]。 逆に、不具合で別キャラクターにログインしてしまった正直なエージェントが 報告の矛盾ゆえに仲間から妨害役だと誤認された走行も記録されている^[1]。 別の走行では、妨害役が発覚しかけたところを、チームが独立に見つけていた スキャナの軽微な不具合に責任を転嫁して切り抜けた^[1]。

専任の監視役を置くとどうなるか。ゲームをプレイせず公開チャンネルだけを読む別の Claude を置き、 誤って正直なエージェントを告発する率を5%以下に抑える条件で調整した結果が次である。

数値の意味は単純である。内部の推論が見えるなら妨害は自明で、見えないなら3分の2は通る。そして見えない監視は一度も「50%より確か」と言えなかった^[1]。 他者の組織に属するエージェントと協働する場面では私的な推論も個々の行動も通常は見えない、 というのが発表本文がこの条件を選んだ理由である^[1]。

妨害の効きやすさが足場の品質に依存した点も記録されている。 不具合や不運が妨害役に口実を与えるため、Opus が書いた弱い足場の上では妨害がより大胆かつ有効で、 その条件では Fable 5 の妨害役は最初の船のアップグレードすら阻止した^[1]。 Fable 5 の足場の上ではチームが容易に進んでしまうので、 残った手は自分自身のアップグレードを遅らせる口実を作ることだけだった^[1]。環境の信頼性が低いほど、悪意のある参加者の隠れ場所が増える。

協調そのものは、むしろ容易だった

妨害がない条件では、4体は比較的容易に協調した。1体が根拠付きで決定を提案し、 異議が出なければ実行する。偶発的に、2機が互いに譲り合って何も決まらない 「遠慮のデッドロック」が生じた^[1]。 役割(指揮・偵察・精製・戦闘)は、埋まっていない役を志願する形で自己組織化された^[1]。 ただし裏目に出た例がある。ある走行ではチームの重要設備が1機に集中し、 その機体が接続を失ったときにチームの経済が数時間止まった^[1]。 別のチームはこの危険を事前に見て責任を分散させている^[1]。 重要な主張を独立に検証し、互いの計画の欠陥を指摘してもいた。 その検証を省いたときに最も高価な失敗が起きている。 希少資源が既に取得済みだと信じた、古い情報に基づいて動いた、といった失敗である^[1]。

フィジカルAIから見て何が変わったのか#

第一に、反応速度と空間把握は、世代交代では埋まらなかったという一次情報が1つ増えた。 発表本文は Fable 5 について「速度と空間推論の弱点は旧世代と同じで、 ただし自前の道具を作ることで迂回できた——少なくとも既に見た状況では」と書き、 続けて「ロボティクスでも同様のパターンを見ている」と結んでいる^[1]。 ロボット基盤モデルの評価を読むとき、性能の出どころが方針なのか、 周辺に書かれたコードなのかを分けて見る必要があることを、この実験は比較対照付きで示した。 同じモデル・同じ環境で、足場の作者だけを変えて撃墜ゼロと多数回に割れている^[1]。

第二に、その迂回は分布の外で切れる。足場が信頼できたのは開発中に見た状況だけで、 最難の目標は半分で止まった^[1]。 速い制御をコードに逃がす設計は、本紙が扱ってきた実機の構成と同じ弱さを持つ。 うまく動くデモは、デモの条件を再現しているだけかもしれない。

第三に、自律機械を複数台まとめて運用する側にとって、監視の数値が初めて具体的になった。 中国ではAGIBOT の G2 を6台まとめて店舗で24時間走らせる試験のような、 複数機を同時に動かす運用が既に始まっている。 EVE Frontier の実験が示したのは、そうした構成で1体が誤った指示や侵害を受けたとき、共有ログだけを見ている監視では3分の2が通るということである^[1]。 しかも私的な推論まで見えれば自明なのだから、ここで効く対策は検出器の性能向上ではなく、何を可視化する構成にしておくかである。 発表本文も、人間の組織が監査証跡・評判・職掌分離で悪意ある参加者に対処してきたことを挙げ、 エージェントのチームにも同種のものが必要になるだろうと書いている^[1]。 本紙は封じ込めを環境の層に置く設計を別のコラムで扱ったが、 今回の数値はその設計判断を「検出率30〜40%」という具体的な代替コストで裏打ちしている。

第四に、誤認の記録を軽く見るべきではない。不具合で報告が矛盾した正直なエージェントが 仲間から妨害役と断定された走行がある^[1]。 エージェント同士の信頼判断が脆いことは本紙が専門家への追従の読解で扱った論点と重なり、 発表本文も、エージェントは誰を信じるかの判断が苦手で、 正しいことを言っている少数意見を見落としうるという過去の研究を引いている^[1]。 自律機械の運用で「異常を申告した1台を外す」判断を自動化すると、 同じ誤りを機械の側で再生産することになる。

最後に、この実験の位置も正しく置いておく。市場側は反応しない再生シミュレータの上で、 実取引所より非効率な市場を相手にした結果であり^[1]、 艦隊側は開発中のゲームで、しかも妨害は指示された条件下での振る舞いである^[1]。 これは実機の数値ではない。それでも、長期の任務・複数機の協調・実時間の制御という 3つを同時に含む公開実験はまだ少なく、その中で「弱点は残り、道具で迂回され、迂回は分布の外で切れる」という形が 数値付きで出たことを本紙は記録に残す価値があると判断する。