LLMエージェント2026/8/30arXiv:2608.30067v1

LLMエージェントにおける世界モデルと方策の合成：スペクトル解析と行動解析による統一的考察

How do World Models and Policies Compose in LLM Agents? A Joint Spectral and Behavioral Account

LLMエージェントの世界モデル学習と方策学習の相互作用を、パラメータ更新の幾何学的構造と行動特性の両面から分析し、逐次学習が頑健性と探索性を向上させることを示した。

詳しい要約

1. どんなもの？

本論文は、LLMエージェントにおいて、環境理解（world model）とタスク遂行能力（policy）がどのように学習され、相互作用するかを、制御された実験と理論的解析により解明する研究である。具体的には、next-state predictionによるworld-model trainingとreward maximizationによるpolicy trainingを組み合わせ、その際のパラメータ更新の加法構造をスペクトル解析と行動解析の両面から調べる。

2. 先行研究と比べてどこがすごい？

従来の研究では、world modelとpolicyを別々に学習したり、統合する手法が提案されてきたが、その内部表現の幾何学的関係や、学習順序が及ぼす影響は十分に理解されていなかった。本研究は、パラメータ更新の低ランク性や部分空間の直交性など、幾何学的な性質を明らかにし、さらに逐次学習が別々の学習よりも頑健性や探索の多様性を向上させることを示す点で新規性が高い。

3. 技術・手法の肝は？

手法の核心は、world-model trainingとpolicy trainingを組み合わせた際のパラメータ更新を、加法分解してスペクトル解析することにある。具体的には、更新行列の特異値分解を行い、入力特徴部分空間と出力方向の関係を調べる。また、projection interventionにより、特定の入力方向を除去した際の性能変化を評価し、学習順序の影響を調べる。さらに、training-free mergingやonline world-model lossの導入など、幾何学的知見に基づく介入手法を提案している。

4. どうやって有効だと検証した？

有効性の検証は、制御された実験環境で行われる。world-model trainingとpolicy trainingを別々に、または逐次的に学習させ、その際のパラメータ更新のスペクトル特性を比較する。また、projection interventionにより、world modelの主要な入力方向を除去した際の性能を評価し、逐次学習の頑健性を示す。さらに、行動解析として、エージェントが訪問する状態と行動の多様性を測定し、逐次学習が探索を促進することを示す。最後に、提案するtraining-free mergingとonline world-model lossが、ベースラインと比較して性能を向上させることを実験で確認する。

5. 議論はある？

議論として、policy trainingがworld knowledgeを十分に保持しているかという疑問が提起される。実験結果は、逐次学習が別々の学習よりも頑健であることを示すが、これは学習された入力経路の冗長性による可能性がある。また、提案手法は改善をもたらすが、その一般性や大規模モデルへの適用可能性については要旨からは不明である。さらに、world modelとpolicyの幾何学的補完性が、実際のタスク性能にどの程度寄与するかについての詳細な分析は要旨には含まれていない。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、world-model trainingとpolicy trainingの組み合わせに関する研究や、パラメータ更新のスペクトル解析を用いた研究が挙げられる。具体的には、next-state predictionを用いたworld modelの学習、reward maximizationによるpolicy学習、およびそれらの統合手法に関する論文が関連する。また、training-free mergingやonline lossの導入に関する研究も関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ruize Xu, Xiao Yu, Yujin Tang, Chenming Shang, Nikhil Singh

分類: cs.LG, cs.AI, cs.CL

原文アブストラクト

How do LLM agents come to both understand environments they act in and master tasks set within them? Through controlled experiments combining world-model training (next-state prediction) and policy training (reward maximization), we investigate this question. We dissect the resulting models through their additive parameter updates. Geometrically, we find effective world-model updates are low-rank and share an input-feature subspace with policy updates while writing to nearly orthogonal output directions, whether trained separately or sequentially. However, we find that, in projection interventions, the sequential update induces more robustness than separate policy RL when removing the world model's leading input directions, suggesting that it has learned alternative input pathways. Behaviorally, we find the sequentially trained agent explores a wider range of states and actions. Based on this, we ask: does policy training preserve world knowledge as well as it could? We probe this with training-free merging built on the geometrically motivated input basis plus an online world-model loss during policy RL, and show both improve over the untreated baseline. Our findings suggest world knowledge and task-directed ability can be learned in geometrically complementary forms, and that future post-training pipelines should consider how best to engineer the interface between them.

arXivで原文を読む →arXiv概要ページ