VLA2026/7/7arXiv:2609.09163

検証済みコード世界モデルによるワールドタイム計算

World-Time Compute with Verified Code World Models

ドメインのダイナミクスをコードとして記述し、多数の検証可能な世界モデルから生成した軌道データでLLMを微調整することで、未学習の世界への汎化性能を大幅に向上させる手法を提案。

詳しい要約

1. どんなもの？

LLMの汎化には大量のラベル付き実例が必要だが、多くの領域で不足する。本研究は、領域のダイナミクスをコードで書ける場合、1つのテンプレートから多数のworld model（記号状態上の実行可能・検証可能なプログラム）を生成し、正確にラベル付けされた軌跡を無限に得る手法を提案。これをworld-time compute（test-time computeの訓練時版）と呼び、多数のworldの軌跡でLLMをfine-tuningすると、未訓練のheld-out world（synthesized world families）への汎化が向上する。

2. 先行研究と比べてどこがすごい？

domain randomizationと異なり、各worldは独立に作成・検証される。per-step LLMやMLP予測器は誤差が蓄積し崩壊するが、検証済みコードのworldは20-step rolloutで正確、OODプローブ10倍でも100%正確。corrupted-label controlにより、タスク多様性ではなくラベル正確性が利得を駆動すると示す。能力が最も乏しい所で利得が最大（0.5Bで+29点）。

3. 技術・手法の肝は？

領域のダイナミクスをコードで表現し、1テンプレートから多数のworld modelを生成。各worldは記号状態上の実行可能・検証可能なプログラムで、正確にラベル付けされた軌跡を無限に生成。多数のworldの軌跡でLLMをfine-tuning（world-time compute）。real benchmarkではper-world test-time trainingとして同レバーを適用。List Functionsでは128のdisjoint worldで1アダプタを訓練しcross-world形式を検証。

4. どうやって有効だと検証した？

synthesized-then-checked dynamicsは20-step rolloutで正確、OODプローブ10倍で100%正確。per-step LLM/MLPは誤差蓄積で崩壊。corrupted-label controlでラベル正確性が利得を駆動。real benchmark（ARC-AGI grids, List Functions, CLRS）でper-world test-time trainingとして有効。List Functionsのcross-world形式でheld-out world 40% vs corrupted-label control 6%（+34点, CI [29,39]）。

5. 議論はある？

利得は飽和する規則性であり法則ではない。few-step reasoningと小/弱モデルで最大、長い連鎖・知覚誘導タスク・飽和タスクでは減衰。共有スキルなしのcross-task転送は弱い。対象は記号状態に限定され、pixel-native領域は学習モデルの領域として残る。全コード・レシピ・原稿は1リポジトリから再生成可能。

6. 次に読むべき論文は？

OpenWorld（zero-dependency frameworkのcompanion paper）。関連手法としてdomain randomization、test-time compute、per-step LLM/MLP predictors、ARC-AGI grids、List Functions、CLRS。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: James Schwoebel, Ingrida Semenec, Jenia Rousseva, Marcos Ortiz, Collin Overbay, Christopher Klaus, Anderson Edmond, Manish Bhatt, Rome Thorstenson, Jessica Tsai, Martin G. Frasch

分類: cs.LG

原文アブストラクト

LLMs generalize across a domain only after seeing many real, labeled examples, which most domains lack. We study a way to manufacture it cheaply. When a domain's dynamics can be written as code, one template instantiates into many world models: executable, verifiable programs over symbolic state, each an inexhaustible source of exactly-labeled trajectories. Fine-tuning an LLM on trajectories through many such worlds, which we call world-time compute, a training-time analogue of test-time compute, lifts generalization to held-out worlds it never trained on (synthesized world families). Gains are largest where capability is scarcest: +29 points at 0.5B; the largest model's lift is within noise, consistent with saturation. Labels can be trusted because the worlds are verified code: synthesized-then-checked dynamics are exact over 20-step rollouts and answer 10x out-of-distribution probes exactly (100%), whereas per-step LLM and MLP predictors compound error and collapse. Unlike domain randomization, each world is independently authored and verified; a corrupted-label control shows label exactness, not task variety, drives the gains. On real benchmarks (ARC-AGI grids, List Functions, CLRS) the same lever holds as per-world test-time training. On List Functions the harder cross-world form holds: one adapter trained on 128 disjoint worlds reaches 40% on held-out worlds versus 6% for a corrupted-label control (+34 points, CI [29, 39]). The gain is a saturating regularity, not a law: largest for few-step reasoning and small/weak models, fading for long chains, perception-induced tasks, and saturated tasks; cross-task transfer is weak without shared skill. Worlds are authored and served by OpenWorld, a zero-dependency framework (companion paper). Scope: symbolic state; pixel-native domains remain territory of learned models. All code, recipes, and this manuscript regenerate from one repository.

arXivで原文を読む →arXiv概要ページ