成功率を超えて：視覚言語行動システムにおける記憶の介入評価

- VLA（vision-language-action）システムにおける「memory」が実際に意思決定に寄与しているかを検証するための評価プロトコル IMEP（Interventional Memory Evaluation Protocol）を提案する研究。 - 成功率の ablation だけでは memory の役割を確立できないという問題意識に基づき、4つの問い（memory の純便益、有効条件、memory 変更が結果を変えるか、効果が task-relevant facts に特異的か）を設定。 - within-episode、cross-episode、agentic memory を対象に評価。 - 併せて ChainBench を導入し、現在の観測に無い履歴情報を要する意思決定を評価。

- 従来の success-rate ablation は情報と計算を同時に変えてしまい、また集計成功率は相殺的な利得と損失を隠しうる。 - 本研究は retrieval interface で target-fact substitution と fact-preserving replacement、minimal numerical perturbation、exact replica を比較し、decision correctness と motor execution success を分離して評価する点が異なる。 - 集計成功率を超えて fact-specific な証拠を要求する枠組みを提示する点が先行評価と比べた特徴。

- Interventional Memory Evaluation Protocol（IMEP）を提案。 - retrieval interface において、target-fact substitution、fact-preserving replacement、minimal numerical perturbation、exact replica を比較。 - decision correctness と motor execution success を別々に評価。 - within-episode、cross-episode、agentic memory を対象に介入実験。 - cross-episode learned-bank では one-unit-in-the-last-place（ULP）介入を実施。 - ChainBench を導入し、履歴情報が必要な意思決定を評価。

- cross-episode learned-bank 実験で、ULP 介入（導入手順含む）が seed-paired outcomes の 11.9% を変化させた。 - 一方、key facts の変更は fact-preserving replacement に対して明確な追加効果を示さなかった。 - ChainBench では full memory configuration が task success を 39.1% から 74.3% へ向上させ、共有記録実行下の oracle-decision 条件と一致した。 - これらにより、正しい履歴がロボット意思決定を支えうる一方、memory system がその便益を実現しているかは集計成功率を超えた fact-specific 証拠が必要と示した。

- 正しい履歴情報は意思決定を支援しうるが、memory system が実際にその便益を実現しているかを確立するには fact-specific な証拠が必要。 - 集計成功率だけでは offsetting gains and losses を隠す可能性がある。 - key facts 変更が fact-preserving replacement を上回る明確な効果を示さなかった点は、memory の役割評価における課題として議論の余地がある。 - その他の限界や議論は要旨からは不明。

- 要旨で参照/比較されている Interventional Memory Evaluation Protocol（IMEP）関連の評価研究。 - ChainBench を用いた VLA memory 評価。 - vision-language-action（VLA）システムの memory 研究。 - success-rate ablation に代わる介入評価手法の関連研究。 - 具体的な論文名は要旨からは不明。