何が起きたか

arXivは2026年10月7日、論文「System Switch: When Should a Fast Decision Model Stop and Think?」を公開した。論文は、速い方策が毎回の判断を担い、ゲートが開いたときだけ reasoning vision-language model に制御を渡す dual-process 構成を扱う。評価には閉ループの Doom と、新しい公開の「System One」typed-decision models を用い、共通の llama.cpp インターフェースで提供した。 著者らは900件の保留質問で、0.15Bから9Bパラメータのゼロショット意思決定モデル、オフラインでの延期判断、33ゲーム3シードの閉ループ評価を行った。論文はコード、プロンプト、データ、ログも公開するとしている。

詳細

900件の保留質問では、0.15Bから9Bのゼロショット意思決定モデルが、どの選択肢順でも、誤答の中でアイテム収集を1.6〜1.8倍の頻度で chance より選んだと報告した。順序は一部モデルの accuracy に影響したという。 また、accuracy、calibration、sensitivity は別の性質だと整理し、同程度の accuracy のモデルでも AUROC は大きく異なった。オフラインでは、最も自信が低い30%の判断を reasoning model に委ねると、ランダム延期より有利で、その利益は actor の AUROC に比例したとしている。held-out games で actor と延期率を選ぶと、doomLaya の option order では +0.13 [0.08, 0.18]、シャッフル順では +0.08 [0.02, 0.14] の改善が示され、reasoning がその約半分を担ったという。

Key Facts

arXivが2026年10月7日に論文「System Switch: When Should a Fast Decision Model Stop and Think?」を公開した[1]
論文は fast policy と slow deliberative model を組み合わせ、ゲートが開いたときだけ reasoning vision-language model に制御を渡す方式を扱う[1]
評価には closed-loop Doom と「System One」typed-decision models を用い、共通の llama.cpp interface で提供した[1]
900件の保留質問で、0.15Bから9Bのゼロショット意思決定モデルを評価した[1]
論文は code、prompts、data、logs の公開を明記した[1]

本紙の見方

今回の論文の新しさは、速い判断モデルと遅い推論モデルを「どの場面で切り替えるか」に絞って定量化した点にある。dual-process の発想自体は既定路線だが、ここではゲート、延期率、confidence、AUROC を同じ枠で扱い、切り替えの良し悪しを closed-loop の行動まで含めて評価している。特に、accuracy が近いモデル同士でも sensitivity と AUROC が大きく異なるという整理は、単純な正答率比較では見えない差を前面に出したものだといえる。 本紙の関連記事はないため、今回はこの論文単体の位置づけを見ると、焦点は「推論モデルを常時回すか」ではなく「誤りが大きい局面だけ任せるか」に移っている。900件の保留質問で、最も自信が低い30%を委譲したときの改善幅が actor の AUROC と結びついたことは、切り替えの設計がモデル本体の大きさよりも信頼度の分離性能に依存する可能性を示す。さらに、closed-loop Doom では33ゲーム・3シードのいずれの変種も exit に到達しなかったため、オフラインの改善がそのまま実環境の成功に移るわけではないことも読み取れる。 業界構造への含意としては、まず推論基盤の単純な大型化ではなく、ゲーティングと延期の制御ロジックが別の性能軸として立つ点が重要である。次に、llama.cpp という共通インターフェースで fast actor と reasoning model を接続しているため、モデル単体よりも実行系の切り替え設計が研究・実装の対象になっている。加えて、knowledge があるかないかで reasoner の振る舞いが変わり、locked door と ordinary door の取り違えが起きたという記述は、状態表現とタスク知識の整合が依然として課題であることを示す。今後確認すべき論点は、どの条件で +0.13 や +0.08 の改善が再現するのか、33ゲーム以外の環境でも AUROC と延期利益の関係が保たれるのか、そして code・data・logs の公開後に他方式で同じ切り替え則が成立するかである。

なぜ重要か

この論文は、速い判断モデルを止める条件を定義し直すことで、推論資源を常時投入する設計以外の選択肢を示した。著者らの評価では、延期の有効性が accuracy ではなく AUROC に結びついており、どの判断を推論モデルに回すかの設計が性能差を左右するとみられる。

日本への影響

日本の研究機関やロボティクス実装では、モデルの正答率だけでなく、AUROC や延期率のような切り替え指標を運用設計に組み込む必要があると考えられる。特に、llama.cpp のような共通実行基盤を使った fast actor と reasoning model の接続は、限られた計算資源でリアルタイム制御を行う場面で論点になる。