World Action ModelにおけるBest-of-N選択の真の効果を測定する

- World action models (WAMs) が生成した行動の視覚的帰結を予測できる性質を利用し、test-time selection で固定方針を改善する研究。 - 候補行動の未来を想像し最良のものを実行する枠組みにおいて、選択可能な改善幅 (selectable headroom) を測定し、それを実現する selector を構築する。 - 4つの WAM、2つの benchmark、10万回超の branched rollouts で検証。

- 標準的な headroom 推定は各候補を1回実行して最良結果を取るため、候補の質と後続のランダム性を混同してしまう。 - 本研究は denoised counterfactual protocol により、selector が実際に実現できる headroom を測定。 - 標準推定が native samples の selectable headroom を過大評価することを示す (17 continuations で 24%〜66%)。 - 構造化された action perturbations が最大16ポイントの headroom を生むこと、imagined futures が real futures と検出可能な損失なしに候補結果情報を持つことを示す。

- bitwise-reproducible branching、repeated continuations、held-out oracles、common random numbers に基づく denoised counterfactual protocol。 - 測定結果を用いて fail-gated selector を構築。 - WAM の readout が失敗を予測した時のみ policy chunk から逸脱する仕組み。 - Cosmos Policy の value head が使っていない情報を imagined futures が含む点を活用。

- 4つの WAM、2つの benchmark、10万回超の branched rollouts、pre-registered tests で検証。 - 訓練タスクの held-out episodes で closed-loop task success が 76.9% から 81.6% に向上。 - 未見タスクで 62.6% から 69.8% に向上。 - 方針が最も頻繁に失敗する箇所で最大の改善。

- 標準的な headroom 推定の過大評価という測定上の問題を指摘。 - imagined futures と real futures の情報差が検出できない点、Cosmos Policy の value head が情報を未使用である点を議論。 - 選択の利益は selectable headroom に上限があることを示唆。 - 詳細な限界や一般化可能性は要旨からは不明。

- Cosmos Policy (value head が imagined futures の情報を未使用と比較されている)。 - World action models (WAMs) 全般、特に action-conditioned imagination を持つもの。 - test-time selection / best-of-N を用いる policy improvement 研究。 - common random numbers や counterfactual evaluation を用いたロボティクス評価手法。