世界モデル2026/8/10arXiv:2608.10145

評価プロトコルが結果を決める：LeWorldModelのTwoRoomにおける独立再現

The Evaluation Protocol Determines the Result: An Independent Reproduction of LeWorldModel on TwoRoom

LeWorldModelのTwoRoom環境での結果を独立に再現し、評価プロトコルの違いが結果を大きく左右することを示した。

詳しい要約

1. どんなもの？

LeWorldModelの独立再実装による再現研究。TwoRoom診断環境で報告された約87%の目標到達率を、約25ドルのレンタル計算資源とラップトップCPU上の評価のみで再現を試みた。結果として94.0%を達成し、著者自身のチェックポイントを同一エピソードで評価した84.0%を上回った。また、位置プローブのPearson r=0.9988（報告値0.996）を再現した。しかし、この再現にはリリース済み設定ファイルに存在しない4つの慣習（フレームスキップブロック全体での密な行動収集、プログラムによる行動エンコーダ幅の設定、ImageNetピクセル正規化、行動のzスコア化）が必要であり、リリース設定のみでは予測器が収束しないことを示した。さらに、評価プロトコル自体がリリース資料内で矛盾しており、目標オフセットとステップ予算の違いにより結果が14.0%から84.0%まで変動することを明らかにした。

2. 先行研究と比べてどこがすごい？

先行研究（LeWorldModelの原著論文）は、単一のアンチコラプス正則化を備えた予測損失で潜伏世界モデルを訓練し、TwoRoomで約87%の目標到達率を報告した。本研究は、独立した再実装によりその結果を再現した点で優れている。特に、リリース済み設定だけでは再現不可能であり、評価プロトコルの細部が結果を決定することを実証した。また、著者自身のチェックポイントを同一エピソードで評価すると84.0%に留まること、目標の構築方法を変えるだけで8.0%に低下することなど、評価プロトコルの影響を定量化した。さらに、一段階予測精度が長期的計画成功を予測しないこと、バッチ正規化が検証損失を最大300倍膨張させ訓練損失の平坦さを隠すことなど、一般化可能な知見を提供した。

3. 技術・手法の肝は？

手法の肝は、LeWorldModelの再実装における評価プロトコルの詳細な分析にある。具体的には、(1) フレームスキップブロック全体で密に行動を収集する、(2) 行動エンコーダの幅をプログラムで設定する、(3) ImageNetピクセル正規化を使用する、(4) 行動をzスコア化する、という4つの慣習が再現に必須であることを特定した。また、評価プロトコルとして、目標オフセットとステップ予算の設定が結果に大きく影響することを示し、リポジトリの設定と論文付録の設定で異なることを指摘した。さらに、バッチ正規化層が検証損失を膨張させる問題を発見し、訓練損失と検証損失の乖離を分析した。

4. どうやって有効だと検証した？

有効性の検証は、独立した再実装と同一エピソードでの比較評価によって行われた。具体的には、著者リリースのチェックポイントと再実装モデルを同一の50エピソードで評価し、目標到達率を比較した。その結果、再実装モデルは94.0%を達成し、著者チェックポイントの84.0%を上回った。また、位置プローブのPearson r=0.9988を報告値0.996と比較し、表現学習の再現を確認した。さらに、評価プロトコルの変更（目標オフセット、ステップ予算、目標の構築方法）が結果に与える影響を系統的に評価し、14.0%から84.0%、84.0%から8.0%への変動を示した。一段階予測精度と長期的計画成功の関係は、3つのチェックポイント（予測誤差が7倍の範囲）で評価し、短期的成功は単調に順序付けるが長期的成功は順序付けないことを示した。バッチ正規化の影響は、検証損失が最大300倍膨張することを観測した。

5. 議論はある？

議論として、評価プロトコルが結果を決定するという根本的な問題が提起されている。リリース資料内で評価設定が矛盾しており、著者自身のチェックポイントでも設定により結果が大きく変動する。これは、再現性の重要性と、評価プロトコルの標準化の必要性を示唆する。また、一段階予測精度が長期的計画成功を予測しないという発見は、潜伏世界モデルの評価指標に関する疑問を投げかける。さらに、バッチ正規化による検証損失の膨張は、訓練の監視方法に影響を与える可能性がある。しかし、本研究はTwoRoomという単純な環境に限定されており、より複雑な環境での一般化は不明である。また、再現に必要な4つの慣習がリリース設定に含まれていないことは、研究コミュニティにおけるコード公開の質に関する議論を喚起する。

6. 次に読むべき論文は？

次に読むべき論文は、LeWorldModelの原著論文（タイトル不明）と、その基礎となるWorld Models関連の研究（例: "World Models" by Ha and Schmidhuber）が挙げられる。また、評価プロトコルの影響を議論した研究や、潜伏世界モデルの評価指標に関する研究（例: "Dream to Control: Learning Behaviors by Latent Imagination"）も関連する。さらに、バッチ正規化の影響を分析した研究や、再現性に関する研究（例: "Reproducibility in Machine Learning"）も有用である。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Joyjeet Singh

分類: cs.LG

原文アブストラクト

LeWorldModel trains a latent world model with a prediction loss and a single anti-collapse regulariser, and reports approximately 87% of goals reached on TwoRoom, its simplest diagnostic environment. We reproduce that result by independent reimplementation on roughly $25 of rented compute, with all evaluation on one laptop CPU. We reach 94.0% at the repository's evaluation goal offset, against 84.0% for the authors' own released checkpoint measured under our protocol on identical episodes, and we reproduce the reported representation result directly (position probe Pearson r = 0.9988 against a reported 0.996). Reaching that point required four conventions that determine the outcome and appear in no released configuration file: dense action gathering across a frameskip block, a programmatically-set action-encoder width, ImageNet pixel normalisation, and action z-scoring. A reproducer following the released configurations alone obtains a model whose predictor cannot converge. The evaluation protocol is itself contested by the released material. The paper's appendix and the repository's configuration specify different goal offsets and step budgets; on the authors' own weights these yield 14.0% and 84.0%, and only the configuration's values reproduce the reported figure. On fifty identical episodes, changing nothing but how the goal is constructed moves that checkpoint from 84.0% to 8.0%. Two findings generalise. One-step prediction accuracy does not predict long-horizon planning success: across three checkpoints spanning a sevenfold range in prediction error, including the authors' own, it orders short-horizon success monotonically and fails to order long-horizon success at all. And a batch normalisation layer inflated our reported validation loss by up to a factor of 300, concealing a training loss that was flat throughout.

arXivで原文を読む →arXiv概要ページ