反証による行動検証：言語モデルエージェントのための推測と反駁

- Language model agents が tool を通じて外部環境を操作する際の誤った action を実行前に防ぐ verification 手法の研究。 - 高レベル指示では task/environment 固有の文脈が省略され、misaligned action が生じる問題を扱う。 - 提案手法 BlackSwan は refutation-oriented な expect-suspect-test 手続き。 - 各 state-mutating action の意図効果を予測し、誤り仮説を検証してから実行する。

- 先行研究は action を支持する条件が成立するかを確認する confirmation-oriented な verification が主流。 - 著者らはこの視点に blind spot があると指摘: 誤った action でも「正しいか」を問う check は通過しうる。 - BlackSwan は支持証拠ではなく反証証拠を探すという発想の転換を行う。 - AppWorld で最強 baseline 比 +14.9%p(thinking mode あり)、+25.2%p(なし)の success rate 改善。

- expect-suspect-test の3段階手続き。 - expect: 各 state-mutating action の intended effect を予測。 - suspect: どう誤りうるかについて specific かつ empirically testable な hypothesis を生成。 - test: 既存 observation または追加の non-mutating action で hypothesis を検証。 - 生き残った hypothesis がなければ action を実行する。

- 難しい AppWorld tasks で評価。 - backbone model の thinking mode あり/なしで、最強 baseline をそれぞれ 14.9、25.2%p 上回る success rate。 - thinking も in-context demonstrations もなしで、それらを備えた stronger baselines を上回る。 - 汎化検証として WebShop でも +12.7%p の性能改善。

- 結果は、language model agents が misaligned action を認識・自己修正する未活用の能力を持つことを示唆。 - その能力は実行前の active conjecture and refutation によって体系的に引き出せるという主張。 - 具体的な限界や失敗事例、計算コストなどの議論は要旨からは不明。

- 要旨で直接参照/比較されている confirmation-oriented な action verification の先行研究。 - 評価に用いられた AppWorld および WebShop の関連研究。 - 比較対象となった strongest baseline の手法(具体名は要旨からは不明)。 - language model agents の self-correction に関する関連研究。