Webエージェントのための判別的世界モデル

本論文は、Webエージェントのテスト時行動選択を改善するための識別的世界モデル（Discriminative World Models）を提案する。従来の世界モデルは、候補行動をサンプリングし、その結果のWeb状態を予測し、ランカーやPRMでスコアリングするために用いられるが、予測された状態が候補間で識別的であることを保証しない。本手法は、予測状態マッチング（predicted-state matching）という新しい訓練目的を導入し、予測された表現が、代替行動によって到達する状態と真の結果状態を区別できるようにする。

従来の世界モデルは、教師あり次状態予測（supervised next-state prediction）を用いて、HTMLやAXTreeスナップショットのような固定表現を生成するように訓練される。しかし、この目的は、下流のランカーが正確にスコアリングするために予測状態が候補間で識別的であることを必要とする点とミスアライメントである。本手法は、このミスアライメントを直接的に扱い、識別性を明示的に最適化する点が新しい。

手法の核心は、予測状態マッチング（predicted-state matching）という訓練目的である。これは、予測された表現が、真の結果状態と代替行動によって到達する状態を区別できるようにする。具体的には、WebArena Go-Browse軌跡から派生した分岐型Webエージェントデータセットを使用し、各決定点に複数の代替行動とその結果状態を含める。モデルは、候補行動の結果状態を予測し、その予測表現が真の状態と代替状態を区別するように訓練される。

有効性は、保持された予測状態マッチングベンチマークで検証され、教師あり次状態予測で訓練された世界モデルよりも優れていることを示した。さらに、WebPRMBench上で、行動のみのPRMや教師あり次状態予測世界モデルで拡張されたPRMと比較して、PRMスタイルの行動ランキングを改善することを示した。最後に、WebArena-Lite上で、テスト時行動選択に世界モデルを使用することで、エンドツーエンドのタスク成功率が向上することを示した。

要旨からは、議論の余地や限界についての詳細は不明である。ただし、提案手法は、予測状態の識別性を高めることでランキング性能を改善するが、予測状態の正確な生成と識別性のバランスや、データセットの分岐構造への依存性などが潜在的な課題として考えられる。

要旨で参照されている研究は、WebArena Go-Browse、WebPRMBench、WebArena-Lite、Process Reward Model (PRM)、および教師あり次状態予測を用いた世界モデルである。次に読むべき論文としては、これらのデータセットや手法の詳細を説明する原著論文が挙げられる。