CockpitHAT: 依存関係グラフ駆動の階層的帰属分析による具現化マルチエージェントコックピットの信頼性向上

CockpitHATは、LLMマルチエージェントシステムにおけるCorrectness Collapse（タスクレベルの精度が高い一方でプロセスレベルの失敗が深刻である現象）に対処するための階層的アトリビューション（attribution）フレームワークである。特に自動車コックピットのような安全重視の具現化（embodied）環境を対象とし、対話、車両状態、環境、メモリの各チャネルからのマルチチャネル証拠を統合し、依存関係グラフ（interaction DAG）に基づく距離閾値と安全重視の重み付けを用いて失敗原因を特定する。また、212件の注釈付き失敗トレースを含むベンチマークCockpitBenchを公開している。

既存のattribution手法はテキストトレースのみに依存し、依存構造、マルチチャネル証拠、安全意識の評価を欠いていた。CockpitHATは、位置ベースのウィンドウを依存関係距離閾値に置き換え、embodied adapterを介してマルチチャネル証拠を統合し、高リスク失敗に対する安全アップリフトを適用する点で優れている。また、ISO 26262 ASIL重大度でラベル付けされたCockpitBenchを導入し、実世界の具現化環境での評価を可能にした。

手法の核心は、相互作用DAGから導出される依存関係距離閾値を使用して階層的attributionを行うこと。マルチチャネル証拠はembodied adapterによって統合され、各エージェントの証言は信頼度で重み付けされ、アナリスト合意（analyst consensus）を取る際に高リスク失敗（ASIL重大度が高いもの）には安全アップリフトが適用される。これにより、テキストのみでは見逃される依存関係や物理的リスクを考慮した失敗診断が可能になる。

公開ベンチマークWho&Whenと新規のCockpitBenchで評価した。Who&WhenのHand-Crafted分割でagent-level精度77.9%、step-exact精度37.8%、Algorithm-Generated分割で86.5%/46.0%を達成し、テキストのみのSOTAであるECHOを最大17.6/16.7ポイント上回った。CockpitBenchではagent-level 78.3%、step-exact 38.2%を達成した。

要旨からは、CockpitHATの有効性は示されたが、step-exact精度がagent-level精度に比べて低いことから、細かいステップレベルの診断にはまだ課題が残る可能性が示唆される。また、CockpitBenchは212件と小規模であり、一般化にはさらなる検証が必要かもしれない。安全性への配慮はASIL重大度に基づくが、実際の物理的リスクとの整合性については議論の余地がある。

要旨で参照されているのは、テキストのみのSOTAであるECHOと、公開ベンチマークWho&Whenである。次に読むべき論文としては、ECHOの詳細を記した論文、Who&Whenベンチマークの元論文、およびLLMマルチエージェントシステムの失敗解析やattributionに関する関連研究が挙げられる。