意思決定ベンチマーク2026/10/15arXiv:2610.21244

System1-Arena：どの意思決定をSystem 1に任せられるか

System1-Arena: Which Decisions Can Be Left to System 1?

System-1モデルとSystem-2モデルの意思決定能力を比較するベンチマークを提案し、非エージェントタスクでは大規模System-1が高速LLMに匹敵する一方、閉ループ環境では大規模オープンLLMが優位であることを示した。

詳しい要約

1. どんなもの？

- LLMの意思決定をSystem-1(単一forward passで確率を返す)とSystem-2(推論ステップを生成)に分けて評価するbenchmark『System1-Arena』を提案。 - 105タスク・268公開ソース由来の92k質問を含み、text classification and knowledge、applied decisions、evaluation and control、agent and actionの4群で構成。 - web shopping、SWE-bench coding control、robotics、games、drivingなど138のclosed-loop環境を含み、real-time modeでは世界がモデル決定中に変化。 - 30モデル(closed LLM 7、answer tokenで読むopen LLM 13、System-1モデル10)を評価。

2. 先行研究と比べてどこがすごい？

- 従来のSystem-2的reasoning生成中心の評価に対し、System-1モデル(Jev、OpenAI Decisions APIなど)とLLMを同一のdecision request・確率スコアで直接比較する点が新しい。 - 非agentic精度では最大のSystem-1モデルが高速closed LLMに匹敵または上回り、確率calibrationも良く、latencyは約1/4。 - reasoning LLMは最も高精度だが、高速LLMの約70倍のcost。 - closed loopでは大規模open LLMが最大32.9%成功する一方、小規模System-1モデルはほとんど成功しないことを示す。

3. 技術・手法の肝は？

- 全モデルに同一のdecision requestを与え、選択肢上の確率をスコアリングするbenchmark設計。 - 4群105タスク、92k質問、268公開ソースを収録。 - 138のclosed-loop環境を用意し、real-time modeでは決定中にworldが進展。 - 評価対象はclosed LLM 7、answer tokenで読むopen LLM 13、System-1モデル10の計30。

4. どうやって有効だと検証した？

- 30モデルをSystem1-Arena上で評価し、非agentic精度・確率calibration・latency・costを比較。 - closed-loop環境で成功率を測定し、大規模open LLMが最大32.9%、小規模System-1モデルは稀にしか成功しないことを確認。 - 最大System-1モデルが高速closed LLMと同等以上の非agentic精度と良好なcalibrationを約1/4 latencyで達成することを示す。

5. 議論はある？

- どの意思決定をSystem-1に任せ、どれをgenerative reasoningに委ねるべきかという問いを提起。 - System-1は非agenticで強く低latencyだが、closed loopでは小規模System-1がほぼ失敗し、大規模open LLMが最も成功する傾向。 - reasoning LLMは最高精度だがcostが約70倍。 - 具体的な限界や失敗要因の詳細は要旨からは不明。

6. 次に読むべき論文は？

- Jev - OpenAI Decisions API - SWE-bench - System-2的reasoning LLM(chain-of-thought系) - closed-loop agent benchmark(web shopping、robotics、games、driving系)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tianyu Chen, Xinyang Liu, Ruyi An, Zhendong Wang, Mingyuan Zhou

分類: cs.CL, cs.AI, cs.LG

原文アブストラクト

Large language models (LLMs) often make discrete decisions, such as flagging phishing or escalating to a human. System-1 models, such as Jev and the OpenAI Decisions API, return probabilities over options in a single forward pass, while System-2 approaches generate reasoning steps. Which decisions can System-1 models handle, and which require generative reasoning? We introduce System1-Arena, a benchmark that gives all models the same decision requests and scores their probabilities. It contains 92k questions across 105 tasks from 268 public sources, in four groups: text classification and knowledge, applied decisions, evaluation and control, and agent and action. It also includes 138 closed-loop environments, from web shopping and SWE-bench coding control to robotics, games, and driving; in real-time mode, the world evolves while a model decides. We evaluate 30 models: 7 closed LLMs, 13 open LLMs read at the answer token, and 10 System-1 models. The largest System-1 models match or exceed fast closed LLMs in non-agentic accuracy, with better-calibrated probabilities at one-quarter of the latency. A reasoning LLM is the most accurate, at about 70x the cost of a fast LLM. In closed loops, large open LLMs succeed most often (up to 32.9%); small System-1 models rarely succeed.

arXivで原文を読む →arXiv概要ページ

← 論文一覧