何が起きたか

米国防高等研究計画局（DARPA）は、学習型自律システムの安全性を保証するための「Assured Autonomy」プログラムに関する情報を公開した。同プログラムは、複雑で予測不可能な環境において、人間のオペレーターの監督を最小限に抑えつつ目標を達成する自律システムの能力を対象とする。DARPAは、機械学習技術は本質的に予測不可能であり、正しさを保証する数学的枠組みが欠如している一方で、国防総省（DoD）のミッションでは予測可能な動作と強い保証が求められると説明している。

Key Facts

DARPAは「Assured Autonomy」プログラムを推進している。[0]
自律システムは、複雑で予測不可能な環境で人間のオペレーターの監督を最小限に抑えて目標を達成するシステムの能力を指す。[3]
自律システムは、現在および将来の国防総省（DoD）のミッションにとってますます重要になっている。[3]
米陸軍のロボットおよび自律システム（RAS）戦略報告書（2015-2040）は、状況認識の向上、認知ワークロードの削減、部隊防護、サイバー防衛、兵站など、自律システムに依存する能力目標を特定している。[3]
過去10年間で、空中、地上、海上、水中の無人システムなど、自律型サイバーフィジカルシステム（CPS）の構築において大きな進歩があった。[3]
これらの進歩は、センサーやアクチュエータ技術、コンピューティング技術、制御理論、設計手法とツール、モデリングとシミュレーション技術などの革新によってもたらされた。[3]
これらの進歩にもかかわらず、安全が重要視されるDoDアプリケーションへの展開と広範な採用は依然として困難で議論の余地がある。[3]
自律システムの展開と採用を妨げる要因として、信頼できる十分に高いレベルの自律性がない場合、かなりのオペレーター関与が必要となり、運用上の利点が制限され、人間と機械の相互作用や混合イニシアチブ制御の分野で新たな課題が生じる。[3]
不確実で構造化されておらず動的な環境でより高いレベルの自律性を達成するには、データ駆動型の機械学習技術がますます関与するが、オープンなシステム科学とシステム工学の課題が多くある。[3]
今日広く使用されている機械学習技術は本質的に予測不可能であり、正しさを保証するために必要な数学的枠組みを欠いている。[3]
DoDアプリケーションは、ミッションの成功のために安全で正しい動作に依存しており、予測可能な動作と強い保証を必要とする。[3]
歴史的に、保証は開発における厳格な安全基準に従った設計プロセスと、システムテストによるコンプライアンスの実証を通じてアプローチされてきた。[3]
しかし、これらの基準は主に人間がループにいるシステム向けに開発されており、範囲が限定されており、システムの動作がその記憶に依存する高度な自律性のレベルには及ばない。[3]

なぜ重要か

DARPAのAssured Autonomyプログラムは、機械学習を用いた自律システムの安全性を数学的に保証することを目指すものであり、国防総省のミッションにおける自律システムの展開と採用を促進する可能性がある。従来の安全基準が高度な自律システムに適用できないという課題に対処するものであり、今後の自律システム開発の方向性に影響を与えるとみられる。