臨床試験シミュレータは薬の効果を理解しているか？7,207件の登録試験による介入盲検テスト

臨床試験シミュレータ（patient world model）の「counterfactual」能力を、論文の記述ではなく測定で評価する枠組みを提案する研究。ClinicalTrials.gov に結果が登録された完了済み phase 2/3 試験 30,119 件から、7,207 試験に由来する 9,996 の監査済み within-trial contrast を構築。シミュレータの精度が「どの intervention が試されたか」の知識にどれだけ依存するかを、intervention-identifying field を全て伏せた intervention-blind reference との誤差差（interventional skill）として定量化する。

- 従来は patient world model の能力を論文読解で ladder（temporal prediction から counterfactual rollouts まで）上に位置づけていた。 - 本研究は counterfactual rung を測定可能な量に変換した点が新しい。 - 同一モデル・同一試験で intervention 情報だけを伏せた blind reference を対照に置くことで、「薬効知識に依存した見かけの精度」を分離できる。 - 具体的な先行研究名の比較は要旨からは不明。

- ClinicalTrials.gov の完了 phase 2/3 試験から within-trial contrast を構築し監査。 - 評価指標 interventional skill = full model が blind reference に対して除去した誤差。 - blind reference は同一モデル・同一試験で intervention-identifying field を全て withheld。 - registry-trained gradient-boosting simulator と frontier language model（登録 protocol のみ読む）を比較。 - perturbation test として arm を swap し予測符号の反転を確認。 - reliability layer で予測誤差による ranking と calibrated error control の temporal shift 下の転移を検討。

- temporal split（655 試験由来 878 test contrasts）で評価。 - gradient-boosting simulator は trivial baseline の誤差の 1/5 を除去するが interventional skill は -0.12（95% CI -0.21 to -0.05）。 - 代替 featurisation・stratum・temporal cut・same-molecule retrieval のいずれでも信頼区間が 0 を超えない。 - frontier language model は interventional skill 0.20 [0.08, 0.31]、小規模・open-weight モデルは検出限界付近。 - arm swap で大モデルの予測符号が 86% の contrast で反転。 - blind prompt から language model が withheld drug class を 45% で復元し、blind reference 自体が drug-blind でないことを確認。

- blind reference が完全な drug-blind でないため、interventional skill は保守的な下限値である。 - gradient-boosting simulator では intervention を伏せるとむしろ精度が上がる（負の skill）。 - reliability layer では予測誤差による ranking は誤差を下げるが、calibrated error control は temporal shift 下で転移しない。 - 代替手法でも正の skill が得られない点は、現行 simulator の counterfactual 能力評価への警鐘。 - benchmark・code・prompts・per-call model outputs を公開。

- 要旨で参照/比較されている研究は明示されていないため、同分野の定番として patient world model / clinical trial simulator のサーベイ、counterfactual rollout 評価、ClinicalTrials.gov を用いた予測モデル研究を挙げる。 - 具体的な論文名は要旨からは不明。