世界行動モデルの候補選択を検証、失敗予測時に行動を切り替える手法を評価

何が起きたか

arXiv掲載論文は2026年10月27日、世界行動モデル（WAM）の行動候補を選択する効果と、閉ループ制御での実現方法を報告した。4つのWAMと2つのベンチマークで10万回を超える分岐ロールアウトを実施し、失敗が予測された場合に限り方策の行動系列から逸脱する選択器を評価した。成功率は学習時のタスクの保留エピソードで76.9%から81.6%に、未見タスクで62.6%から69.8%に上がった。

詳細

論文は、候補ごとに一度だけ実行して最良の結果を採る従来推定では、候補の質と、その後の実行過程におけるランダム性を分離できないと指摘する。これに対し、ビット単位で再現可能な分岐、候補ごとの反復継続、保留オラクル、共通乱数を組み合わせた反実仮想プロトコルを導入した。17回の継続に基づく上限では、3つのWAMの標準的なサンプルについて、選択可能な余地のうち実現できる割合は24〜66%とされた。 構造化した行動摂動は最大16ポイント分の選択可能な余地を生み出した。また、行動条件付きの想像機能を持つ2つのWAMでは、想像した未来が候補の結果に関する情報を含み、実際の未来に対して検出可能な損失がなかった。一方、論文によると、Cosmos Policyの価値ヘッドはその情報を利用していなかった。提案する選択器は、WAMの読み出しが失敗を予測した場合にのみ、方策の行動系列から逸脱する。

Key Facts

本紙の見方

この研究の焦点は、候補を多く生成すれば最良の行動を選べる、という見立てを評価方法から問い直した点にある。候補ごとに一度だけ結果を観測する方式では、候補自体の優劣と、その後の継続に生じるランダム性が混ざる。17回の継続を用いた上限で、3つのWAMの実現可能な選択割合が24〜66%にとどまったという結果は、単発試行で測った改善余地を、そのまま選択器が得られる性能と扱えないことを示す。 ただし、候補の比較が無意味だという結論ではない。構造化した行動摂動が最大16ポイント分の選択可能な余地を作ったこと、また失敗予測時のみ行動を切り替える方式で閉ループ成功率が上がったことは、改善の鍵が候補数の増加だけでなく、候補の作り方と選択条件にある可能性を示す。特に後者は、方策の行動系列を常時置き換えるのではなく、WAMによる失敗の読み出しを介して介入を限定する設計である。 モデル内部の情報利用にも差がある。行動条件付きの想像機能を備えた2つのWAMでは、想像した未来が実際の候補結果に関する情報を保っていた一方、Cosmos Policyの価値ヘッドはその情報を使っていなかった。したがって、未来を予測できることと、その予測を行動選択に反映できることは別の評価対象になる。モデルの予測能力だけでなく、価値評価部が予測をどの程度利用するかを分けて検証する必要がある。 一方、成功率の改善は論文が報告するベンチマーク上の結果であり、実環境での性能や運用コストを直接示すものではない。論文要旨からは、選択器の計算負荷、失敗予測の誤りが結果に与える影響、他のモデルやタスクでの再現性は確認できない。今後は、反復継続による評価の妥当性を保ちながら、実行時の追加計算と失敗予測の精度を含め、どの条件で成功率の改善が維持されるかが検証点となる。

なぜ重要か

論文の評価では、候補を一度ずつ実行して最良を選ぶ方法は、継続過程のランダム性を含むため、選択で実現できる改善幅を過大評価しうる。モデルや方策の比較では候補の結果を反復して測り、さらに予測された失敗時だけ介入する方式が、報告された成功率向上につながるかを分けて確認する必要がある。