軌跡グラフを活用したエージェント型LLMシステムの実行前エラー診断
Leveraging Trajectory Graphs for Pre-Execution Error Diagnosis in Agentic LLM Systems
LLMエージェントの長期的なタスクにおけるエラーを事前に診断するため、過去の軌跡を確率的グラフとしてモデル化し、グラフニューラルネットワークで失敗に繋がる行動パターンを特定するフレームワークを提案した。
著者: Xu Zheng, Zhuomin Chen, Chaohao Lin, Hua Wei, Haifeng Chen, Wei Cheng, Dongsheng Luo
分類: cs.AI
原文アブストラクト
Large Language Model~(LLM)-based agents have demonstrated exceptional performance across a wide range of complex interactive tasks. However, they often struggle with long-horizon interactive tasks common in domains, such as embodied AI. The complexity and vast action spaces in these settings lead to compounding errors, where a single suboptimal action can derail an entire trajectory, causing the agent to exhaust its limited step budget on inefficient or unrecoverable paths. To overcome this without costly fine-tuning, we draw inspiration from software debugging, where execution logs are analyzed to preemptively catch errors. We propose \textit{Trajectory Graph Copilot}, a novel framework that acts as a ``copilot'' for LLM agents by diagnosing potential action errors before they are executed. At its core,\textit{Graph Debugger} models historical trajectories as a probabilistic graph and uses a Graph Neural Network to identify sequential action patterns that frequently lead to failure. Functioning as a proactive diagnostic sandbox, our method provides early warnings on potentially flawed actions, prompting the agent to self-correct. This pre-action error diagnosis prevents costly mistakes, significantly enhancing the agent's ability to complete long-horizon tasks successfully. The extensive experiments on four benchmarks with three LLM agents demonstrate a $14.69\%$ pass ratio improvement on average.
関連論文
- LLMエージェントにおける世界モデルと方策の合成:スペクトル解析と行動解析による統一的考察LLMエージェント
- 実行可能な幻覚検出:潜在的不確実性をエージェント的批判へ変換するLLMエージェント
- State2State: 環境から導出された中間学習によるLLMエージェントの訓練LLMエージェント
- LLMエージェントのためのファイルシステムベースメモリ:組織化、進化、持続可能性LLMエージェント
- AllocBench: LLMエージェントにおけるオンラインツール割り当て能力の測定LLMエージェント
- 報酬駆動型LLMエージェントワークフロー:POMDPルーティングと自己修正の統合による自律的意思決定LLMエージェント