日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
LLMエージェントarXiv:2609.28416

LLMエージェントのための世界モデル再考：エージェント編集型世界モデル

Agent-Editing World Model: Rethinking World Modeling for LLM Agents

シェア:XThreadsFacebookLINEはてブBluesky

LLMエージェントのタスク状態汚染を防ぐため、ツール応答の予測ではなく推論と行動が将来の進捗をどう形作るかをモデル化し、ノイズの多い推論・行動を編集するAEWMを提案。

詳しい要約

1. どんなもの？

- LLMエージェントの長期的タスク性能を高めるための新しい世界モデル - 従来の言語世界モデルのようにツール応答を予測・再構成するのではなく、推論と行動が将来のタスク進捗をどう形作るかをモデル化 - Agent-Editing World Model (AEWM) を提案 - Action Judge と State Revision を組み合わせ、EditAct で実実行と統合 - Search, Terminal, Software Engineering の3領域で訓練 - タスク状態汚染（task-state contamination）に対処する狙い

2. 先行研究と比べてどこがすごい？

- 従来の言語世界モデルは高エントロピーで実行依存なツール応答を再構成していたが、実フィードバックがある場合その価値は限定的 - AEWM はツール応答のシミュレーションではなく、推論・行動が将来のタスク進捗をどう変えるかに焦点 - Action Judge で Critical, Exploratory, Noisy な決定を区別し、State Revision でノイズの多い推論-行動継続を編集 - EditAct は単なる批評ではなく、後続決定の基盤となる状態を直接変更 - Action Judge ベンチマークで macro-F1 70.5% を達成し、最強のフロンティアベースラインを 10.6 ポイント上回る - 6 ベンチマーク・3 エージェントバックボーンで平均スコアを 3.2–6.7 ポイント改善 - AEWM-RFT は Self-RFT を 2.2–2.6 ポイント上回る

3. 技術・手法の肝は？

- AEWM は Action Judge と State Revision の2要素から構成 - Action Judge: 決定を Critical, Exploratory, Noisy に分類 - State Revision: 同じ観測履歴からノイズの多い推論-行動継続を編集 - EditAct: これらを実実行と統合し、後続決定の基盤状態を直接変更 - 訓練は mid-training と supervised fine-tuning を Search, Terminal, Software Engineering で実施 - AEWM-RFT: 検証済み EditAct 軌跡に対する rejection sampling fine-tuning。オンライン AEWM ガイダンスなしで機能

4. どうやって有効だと検証した？

- Action Judge ベンチマークで macro-F1 70.5% を達成し、最強フロンティアベースラインを 10.6 ポイント上回る - 6 ベンチマーク・3 エージェントバックボーンで EditAct が平均スコアを 3.2–6.7 ポイント改善 - AEWM-RFT が Self-RFT を 3 領域で 2.2–2.6 ポイント上回る - 訓練は Search, Terminal, Software Engineering の3領域で実施 - 具体的なベンチマーク名や評価プロトコルの詳細は要旨からは不明

5. 議論はある？

- タスク状態汚染（task-state contamination）: 支持されない仮定や古い計画が履歴に残り、後続決定を歪める問題を指摘 - 実フィードバックがある場合、高エントロピーで実行依存なツール応答の再構成は限定的価値しか持たないと主張 - AEWM はツール応答シミュレーションではなく、推論・行動が将来のタスク進捗をどう形作るかに焦点を当てる - EditAct は批評ではなく状態を直接変更する点が特徴 - 限界や失敗ケース、計算コスト、一般化可能性に関する議論は要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究: 言語世界モデル（language world models）、Self-RFT - 関連手法: rejection sampling fine-tuning、supervised fine-tuning、mid-training - 同分野の定番: ReAct、Reflexion、Toolformer、WebShop、SWE-bench などが関連候補 - 具体的な論文タイトルは要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shuang Sun, Guoxin Chen, Fanzhe Meng, Jia Deng, Huatong Song, Jinhao Jiang, Wayne Xin Zhao, Hongteng Xu, Ji-Rong Wen

分類: cs.CL, cs.AI, cs.LG

原文アブストラクト

Recent advances in large language models (LLMs) have enabled agents to tackle long-horizon tasks across diverse environments. To further improve agent performance, existing language world models typically predict environment observations, yet reconstructing high-entropy, execution-dependent tool responses offers limited value when real feedback is available. Meanwhile, agents suffer from \emph{task-state contamination}, where unsupported assumptions and outdated plans persist in history and distort subsequent decisions. We propose the \textbf{Agent-Editing World Model (AEWM)}, which models how reasoning and actions shape future task progress rather than simulating tool responses. AEWM combines \textbf{Action Judge} to distinguish \textsc{Critical}, \textsc{Exploratory}, and \textsc{Noisy} decisions with \textbf{State Revision} to edit noisy reasoning--action continuations from the same observed history. \textbf{EditAct} integrates these capabilities with real execution, directly changing the state underlying subsequent decisions rather than merely providing critiques. We train AEWM across Search, Terminal, and Software Engineering through mid-training and supervised fine-tuning. AEWM achieves 70.5\% macro-F1 on our Action Judge benchmark, exceeding the strongest frontier baseline by 10.6 points. Across six benchmarks and three agent backbones, EditAct improves average scores by 3.2--6.7 points over the strongest baseline. Furthermore, rejection sampling fine-tuning on verified EditAct trajectories, termed \textbf{AEWM-RFT}, improves over Self-RFT by 2.2--2.6 points across three domains without online AEWM guidance.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI