経験メモリは閉ループLLM運転エージェントをいつ助けるのか？：制御された評価

クローズドループの LLM 運転エージェントにおいて experience memory がいつ役立つかを制御評価する研究。HighwayEnv の監査済みテストベッド(1Hz、決定的比較は gpt-4o-mini)上で、warmup pool を再サンプリングしたランダム因子(10個の互いに素な pool)として扱い、token-matched な無関係 filler 対照、oracle 認定の診断、caution-pricing 指標、baseline port の定量監査を導入。比較対象は flat-text retrieval(DiLu port)、単一フレーム grid port(RESPOND 着想)、episodic temporal-graph memory、retrieval 不要の consolidated rulebook、flat K-step observation-history baseline。

- 先行研究では、pool に含まれる warmup 経験の内容と、注入 token が prompt に与える影響という最重要2因子が制御されていない。 - 本研究は warmup pool を再サンプリングするランダム因子として扱い、token-matched filler 対照と監査済み baseline port を導入した点が新しい。 - 単一 pool 比較では memory 利得とされた結論が、これらの対照で反転し得ることを示す。

- warmup pool を10個の互いに素な pool として再サンプリングし、ランダム因子として評価。 - token-matched な無関係 filler 対照を追加し、注入 token 自体の効果を統制。 - oracle 認定の診断、caution-pricing 指標、baseline port の定量監査を組み合わせる。 - 複数の memory 設計(flat-text retrieval、grid port、episodic temporal-graph memory、consolidated rulebook、observation-history baseline)を同一テストベッドで比較。

- HighwayEnv の監査済みテストベッド(1Hz、gpt-4o-mini)で制御評価を実施。 - 10個の disjoint pool による sign test(p=0.011)や、5回の fresh draw での rulebook の pool 免疫性の崩壊を報告。 - token-matched filler との比較、caution を価格付けする指標、baseline port の監査により結論の頑健性を検証。

- 見出しの memory 利得は warmup draw に依存し、報告された pool は retrieval memory にとって10個中最高の pool であった。 - 試験した retrieval 設計はいずれも token-matched filler を超えず、15-token の caution 指示で collision-only merge の上限に達する。 - 表現の洗練度は頑健には作用せず、baseline port の品質が結論を静かに反転させ得る。 - これらは本テストベッド上の性質であると明記。

- DiLu port(flat-text retrieval) - RESPOND 着想の単一フレーム grid port - episodic temporal-graph memory - consolidated rulebook - flat K-step observation-history baseline - 同分野の定番として retrieval-augmented LLM agent や closed-loop driving agent の関連研究