VLA2026/9/9arXiv:2609.10036

信念状態エンジン：部分観測下での原理的計画のためのLLM拡張

Belief-State Engine: Augmenting LLMs for Principled Planning Under Partial Observability

LLMの外側にベイズ信念を維持する推論モジュールを置き、生の履歴ではなく信念事後分布のみをLLMに渡すことで、POMDP上の健全なマルコフ方策として計画できるようにした研究。

詳しい要約

1. どんなもの？

LLMエージェントが部分観測環境で失敗する構造的原因を、明示的な信念状態の欠如に帰着させ、その修正としてBelief-State Engine (BSE)を提案する研究。BSEはLLMの外部に置かれる推論モジュールで、与えられたPOMDPモデルの潜在状態に対するBayesian posteriorを維持し、各意思決定ステップでそのposteriorのみをLLMに提示する。生のaction-observation logはLLMに見せない。これによりLLM+BSEが信念MDP上の健全なMarkov policyとなり、古典的POMDP理論のBellman最適性保証を継承することを示す。

2. 先行研究と比べてどこがすごい？

従来のLLMエージェントはhistory-conditioned policyであり、隠れ状態に対する明示的な信念を持たないため、曖昧なfeedbackで早すぎるcommitmentに陥り、単一の情報観測で誤った仮説に不確実性がcollapseし、historyが伸びるとpolicyがdriftする。BSEはLLMの外部でBayesian posteriorを維持し、生のhistoryを隠すことで、これらの症状の共通構造的原因に対処する。また、reactive LLM、Chain-of-Thought、ReAct、natural-language belief tracker、QMDP、POMCPという6つのbaselineと比較して、task return、belief calibration、decision consistencyを改善する。

3. 技術・手法の肝は？

BSEはLLMの外部に配置されるinference moduleであり、与えられたPOMDPモデルの潜在状態に対するBayesian posteriorを維持する。各decision stepで、そのposteriorのみをLLMに提示し、生のaction-observation logは提示しない。信念整合的な内部状態が満たすべき最小4公理の仕様を提示し、LLM+BSEが元のPOMDPから誘導されるbelief MDP上の健全なMarkov policyであることを証明する。これにより、LLMが生のhistoryに晒されない限り、古典的POMDP理論のBellman最適性保証を継承する。

4. どうやって有効だと検証した？

Tiger POMDPとred-team attack-graphタスクで評価。6つのbaseline（reactive LLM、Chain-of-Thought、ReAct、natural-language belief tracker、QMDP、POMCP）と比較し、両domainでBSE-augmented agentがtask return、belief calibration、decision consistencyを改善することを示す。さらに10のtargeted ablationを行い、各architectural choiceの寄与を分離し、効果が特定のモデルに固有でないことを確認する。code、environment specifications、prompt templates、seed logsも論文に付属する。

5. 議論はある？

要旨からは不明。

6. 次に読むべき論文は？

要旨で参照/比較されている研究として、reactive LLM、Chain-of-Thought、ReAct、natural-language belief tracker、QMDP、POMCPが挙げられる。また、古典的POMDP理論（Bellman最適性）やbelief MDPも関連する。同分野の定番としては、POMDP planning手法（POMCP、QMDPなど）やLLM agentの推論手法（ReAct、Chain-of-Thought）が次に読むべき候補となる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Arnab Chattopadhayay, Debdipta Halder

分類: cs.AI, cs.LG, cs.RO

原文アブストラクト

Large language model agents produce fluent action sequences across a wide range of tasks, yet they fail in characteristic ways once the environment becomes partially observable. Ambiguous feedback pushes them into premature commitments. A single informative observation can collapse their uncertainty onto the wrong hypothesis. Policies drift as the history grows. We trace these symptoms to a common structural cause. An LLM agent, as commonly deployed, is a history-conditioned policy with no explicit belief over hidden state. We propose an architectural fix. The Belief-State Engine (BSE) is an inference module placed outside the LLM. It maintains a Bayesian posterior over the latent states of a given POMDP (Partially Observable Markov Decision Process) model, and at each decision step it exposes only that posterior to the LLM. The raw action-observation log is not shown. We set out a minimal four-axiom specification of what a belief-consistent internal state must satisfy, and prove that the LLM paired with the BSE is a sound Markov policy on the belief MDP induced by the underlying POMDP. It therefore inherits the Bellman optimality guarantees of classical POMDP theory, provided the LLM is never exposed to the raw history. We evaluate the architecture on the Tiger POMDP and a red-team attack-graph task, against six baselines: a reactive LLM, Chain-of-Thought, ReAct, a natural-language belief tracker, QMDP, and POMCP. Across both domains, the BSE-augmented agent improves task return, belief calibration, and decision consistency. Ten targeted ablations isolate the contribution of each architectural choice confirms that the effect is not specific to any one model. Code, environment specifications, prompt templates, and seed logs accompany this paper.

arXivで原文を読む →arXiv概要ページ