arXiv論文「Knowing When to Stop Thinking」公開　テスト時計算の停止制御を検討

何が起きたか

arXivは2026-10-20に、論文「Knowing When to Stop Thinking: A Dissection of Expected Free Energy as a Test-Time Compute Controller for Latent World-Model Planning」を公開した。論文は、latent world-model planningにおいて、テスト時の計算量をどう制御すべきかを、expected free energy（EFE）に基づく基準で検討している。著者らは、候補スコアリング、停止条件、オンラインでの予測器更新を個別に評価し、停止のタイミング次第で性能が変わることを示した。

詳細

論文は、EFEに着想を得た目的関数として、目標までの距離と確率的予測間の不一致を組み合わせている。実験では、elite costの停滞を検知して止めるルールが、深さを増しても成功率が頭打ちになる課題での再精緻化を抑え、平均成功率は固定深さの参照手法に近かったと報告した。 一方で、より大きい試験済みの重みでは、不一致を報酬化すると凍結モデルでは成功率が下がった。不一致へのペナルティは、ある課題・重み設定では有効だったが、別の設定では逆効果だったとしている。さらに、学習データに目標到達に必要な領域が欠けている場合、オンライン更新はその損失の一部を回復したとしている。

Key Facts

本紙の見方

この論文の新規性は、世界モデルを使った計画そのものよりも、「どこまで考えるか」を性能制御の対象として分解した点にある。特に、候補スコアリング、停止条件、オンライン更新を同列に切り分け、同じ計算を増やすにしても有効な場面と無効な場面があることを示したのが核心である。成功率が深さで頭打ちになる課題では、elite costの停滞を検知して止める設計が再精緻化を抑えた一方、さらに最適化を続けるとモデル誤差を突いて見かけのコストだけ下がり、実成功がピーク後に悪化する場合があると指摘している。 ただし、論文の示す論点は、推論時に計算を増やせばよいという単純な見方と異なり、停止基準そのものが性能の一部であることを強調する。つまり、計算資源の配分は「多く回すか少なく回すか」ではなく、計画のどの段階で改善が止まるか、そしてその後にモデル誤差が拡大しないかを含む制御問題として扱う必要があるとみられる。ここでは、凍結モデルでの不一致報酬が悪化しうる一方、必要領域を欠く学習データではオンライン更新が損失を部分回復したという結果が重要である。データ不足、固定モデルの限界、オンライン更新の有効性が同じ枠組みの中で併存しており、実運用では「いつ止めるか」と「いつ更新するか」を分けて設計する必要がある。 業界構造への含意としては、世界モデルや計画系エージェントの評価軸が、単なる最終成功率から、計算コストと成功率の両立、さらにモデル誤差に対する頑健性へ移る可能性がある。とくに、elite costが下がり続ける局面でも成功が改善しないケースがあるなら、低コスト・高性能をうたうシステムでも停止戦略の設計が差別化要因になる。未確定の論点は、今回のルールが別のタスク群やモデル規模でも同様に機能するか、online updateの計算負荷が停止制御の利得を相殺しないか、また不一致の扱いが課題ごとにどう最適化されるかである。

なぜ重要か

計算資源が限られる推論時に、どこで探索を止めるかは実装上の主要課題である。論文は、停止条件が成功率に直接影響し、場合によっては探索を続けるほど悪化することを示しており、実運用の制御設計に影響しうる。