日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
LLMエージェントarXiv:2610.09590

長期LLMエージェントのための状況条件付き思考ポリシー学習

Learning Situation-Conditioned Thinking Policies for Long-Term LLM Agents

シェア:XThreadsFacebookLINEはてブBluesky

過去の推論経験を軽量なポリシーに変換し、現在の状況に応じて「何を考えるべきか」を予測させることで、LLMエージェントが履歴を無限に増やさず長期推論を行う枠組みを提案。

詳しい要約

1. どんなもの？

- 長時間稼働する自律エージェント向けの枠組み。 - 履歴の推論経験を軽量な policy に変換し、現在の状況で「何を考えるべきか」を予測。 - 詳細な推論は LLM に委ねる。 - 状況は現在の状態だけでなく時間的・時空間的進化も表現。 - 一時的な経験を複数エピソードにわたり周期的に分析し、長距離の規則性を発見・統合。 - 新たな thinking knowledge として軽量 policy に内部化。

2. 先行研究と比べてどこがすごい？

- 既存の memory 機構は過去内容の検索・要約・圧縮が中心。 - いつ特定の思考を起動すべきかを直接学習しない。 - 時間的に分散した経験から新しい思考知識を発見しない。 - 本手法は状況条件付き thinking memory でこれらを実現。 - 履歴と LLM コンテキストの無限増大を防ぎつつ推論経験を再利用。

3. 技術・手法の肝は？

- 状況条件付き thinking memory フレームワーク。 - 履歴推論経験を軽量 policy に変換。 - 現在の状況に応じて「何を考えるか」を予測。 - 詳細推論は LLM に委譲。 - 状況は時間的・時空間的進化を表現可能。 - 一時経験を複数独立エピソードで周期的に分析。 - 繰り返される長距離規則性を同定し、新 thinking knowledge として統合。 - 軽量 policy に内部化。

4. どうやって有効だと検証した？

- 時間規則一般化で F1 1.000 を達成。 - DeepSeek の推論 F1 を 0.789 から 0.868 に改善。 - 30,000 履歴状況でオンライン処理時間を 0.3636 ms から 0.0382 ms/query に短縮。 - 十分な反復横断経験後、関係発見 F1 1.000 と future-thinking 精度 1.000 を達成。

5. 議論はある？

- 要旨からは不明。 - 限界や失敗事例、計算コスト、スケーラビリティの議論は記述なし。 - 倫理的影響や実世界適用の課題も言及なし。

6. 次に読むべき論文は？

- 要旨で参照・比較されている研究は明示されていない。 - 関連手法として memory mechanisms、retrieval、summarization、compression、DeepSeek が挙げられる。 - 同分野の定番として long-term LLM agents、situation-conditioned policies、thinking memory に関する研究を読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hong Su

分類: cs.AI, cs.RO

原文アブストラクト

Long-running autonomous agents must reuse accumulated reasoning experience without allowing explicit historical memory and LLM context to grow indefinitely. However, existing memory mechanisms mainly retrieve, summarize, or compress past content and do not directly learn when particular kinds of thinking should be activated or discover new thinking knowledge from temporally dispersed experiences. This paper proposes a situation-conditioned thinking memory framework that transforms historical reasoning experience into a lightweight policy for predicting what should be thought about in the current situation, while leaving detailed reasoning to a large language model. Situations may represent temporal or spatiotemporal evolution rather than only current states. Temporary experiences are also periodically analyzed across multiple independent episodes to identify repeated long-range regularities, which are consolidated into new thinking knowledge and further internalized by the lightweight policy. Experiments show that the learned policy achieves 1.000 F1 on temporal-rule generalization, improves DeepSeek reasoning F1 from 0.789 to 0.868, reduces online processing time from 0.3636 ms to 0.0382 ms per query at 30,000 historical situations, and reaches 1.000 relation-discovery F1 and future-thinking accuracy after sufficient repeated cross-experience evidence.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI