日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
LLMエージェントarXiv:2609.18304

世界を巻き戻し、反省を残す:長期LLMエージェントのためのロールバック誘導リフレクション

Rollback the World, Keep the Reflection: Rollback-Induced Reflection for Long-Horizon LLM Agents

シェア:XThreadsFacebookLINEはてブBluesky

長期タスクに取り組むLLMエージェントが失敗した際、環境状態を過去に巻き戻しつつ、捨てた軌跡から有用な知識を蒸留して引き継ぐことで、同じ過ちを繰り返さず効率的に回復する枠組みを提案。

詳しい要約

1. どんなもの?

- LLMエージェントの長期的タスクにおける誤り回復手法 - 誤った行動が状態と観測を変え、誤りが複合する問題に対処 - Rollback-Induced Reflection (RIR) を提案 - 過去の状態に戻しつつ、捨てた軌跡から知識を蒸留して再利用 - rollback depthとretained memoryの統合演算子で回復を特徴づけ

2. 先行研究と比べてどこがすごい?

- 既存手法は文脈修正のみで環境状態を修復しない、または状態復元で経験を捨てる - RIRは失敗条件の除去と過去の誤り繰り返し防止を両立 - 回復をrollback-boundary control問題として定式化 - いつ介入するか、どこから再開するか、どの情報を残すかを同時決定 - 状態復元と知識保持の一般視点を提供

3. 技術・手法の肝は?

- Rollback-Induced Reflection (RIR) という統合回復フレームワーク - 選択した過去状態に実行を戻す - 放棄した軌跡から再利用可能な知識を蒸留し、以後の決定に活かす - rollback depthとretained memory上の統合演算子で回復を特徴づけ - 構造化されたreflection memoryを保持

4. どうやって有効だと検証した?

- 3つのlong-horizonベンチマークで実験 - 複数のLLMバックボーンでタスク性能が一貫して向上 - 構造化reflection memoryが有用な経験を保持 - 選択的rollbackが効率的な回復を可能にすることを示す

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 同分野の定番としてReAct、Reflexion、Tree of Thoughts、LLM agentのlong-horizonタスク関連研究が挙げられる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yi Yu, Liuyi Yao, Yaliang Li, Enshu Wang, Libing Wu

分類: cs.CL, cs.RO

原文アブストラクト

Large language model (LLM) agents increasingly tackle long-horizon tasks through multi-step environment interaction, yet a single erroneous action can alter subsequent states and observations, causing errors to compound over time. Existing methods either correct the context without repairing altered environment states or restore earlier states while discarding useful experience, making it difficult to both eliminate failure conditions and avoid repeating past mistakes. We argue that reliable recovery should instead be treated as a rollback-boundary control problem that jointly determines when to intervene, where to resume, and what information should survive recovery. Based on this view, we propose Rollback-Induced Reflection (RIR), a unified recovery framework that restores execution to a selected prior state while carrying forward reusable knowledge distilled from the abandoned trajectory to guide subsequent decisions. We further characterize recovery through a unified operator over rollback depth and retained memory, providing a general view of state restoration and knowledge retention. Experiments on three long-horizon benchmarks demonstrate that RIR consistently improves task performance across multiple LLM backbones, with structured reflection memory preserving useful experience and selective rollback enabling efficient recovery.

関連論文

PR本紙発行元 EmplifAI