CockpitHAT、依存グラフ駆動の階層的帰属手法を発表 車載マルチエージェントの障害診断で精度向上

何が起きたか

arxiv.orgに2026年8月3日付で掲載された論文で、CockpitHATと呼ばれる階層的帰属フレームワークが発表された。これはLLMマルチエージェントシステムの障害診断を目的とし、依存グラフの距離閾値、マルチチャネル証拠の統合、安全重視の重み付けを特徴とする。公開ベンチマークWho&Whenで、エージェントレベル精度77.9%、ステップ正確精度37.8%（Hand-Crafted分割）を達成し、既存手法ECHOを最大17.6ポイント上回った。

詳細

CockpitHATは、従来の位置ベースのウィンドウを依存グラフ上の距離閾値に置き換え、相互作用DAGから依存構造を抽出する。また、embodied adapterを用いてマルチチャネル証拠（対話、車両状態、環境、メモリ）を統合し、高リスク障害には安全重視の重み付けを適用する。さらに、212件の注釈付き障害トレースを含むベンチマークCockpitBenchを公開し、各トレースはISO 26262 ASIL重大度で3人の専門家の合意によりラベル付けされた。

Key Facts

本紙の見方

今回の発表は、LLMマルチエージェントシステムの信頼性評価に新たな視点を導入する点で注目される。従来の帰属手法はテキストトレースのみに依存し、依存構造やマルチチャネル証拠を考慮していなかった。CockpitHATは依存グラフを活用することで、プロセスレベルの障害をより正確に特定することを目指しており、これは「Correctness Collapse」問題への直接的な対処といえる。特に車載コックピットのような安全重視環境では、字句的に正しい発話が危険な物理操作を引き起こす可能性があり、安全重視の重み付けは実用上重要である。 本紙の過去報道との接続はないが、この研究はLLMエージェントの評価手法の進化を示すものだ。従来のタスク精度のみの評価から、プロセスレベルの信頼性評価へのシフトが進んでおり、CockpitHATはその一環と位置づけられる。特に、ISO 26262 ASIL重大度を導入したベンチマークは、自動車業界の安全規格とAI評価を結びつける試みとして興味深い。 業界構造への含意としては、自動車のコックピットシステムにおけるLLMの実用化には、このような安全重視の評価手法が不可欠になるだろう。また、マルチチャネル証拠の統合は、センサーデータや車両状態を考慮した障害診断の可能性を広げる。一方で、CockpitHATの精度はまだステップ正確精度が40%前後であり、実運用にはさらなる改善が必要とみられる。 未確定の論点としては、CockpitBenchの規模が212件と限定的であり、より多様なシナリオでの評価が求められる。また、ISO 26262 ASIL重大度のラベル付けは専門家の合意に基づくが、その主観性や一貫性の検証も必要だろう。さらに、実際の車載システムへの適用時には、計算コストやリアルタイム性が課題になる可能性がある。

なぜ重要か

この研究は、LLMマルチエージェントシステムの信頼性評価に依存構造と安全重視の視点を持ち込んだ点で、今後のAI安全性研究に影響を与える可能性がある。特に自動車業界では、ISO 26262との整合性が実用化への道筋を開くかもしれない。