世界モデルの安全性リスクを体系的に整理 攻撃者分類と統一脅威モデルを提案

何が起きたか

2026年4月1日にarxiv.orgで公開された論文『Safety, Security, and Cognitive Risks in World Models』は、世界モデル（world models）の安全性・セキュリティ・認知的リスクを体系的に調査した。世界モデルは環境ダイナミクスの学習済み内部シミュレータであり、ロボット、自動運転車、エージェント型AIの自律的意思決定の基盤として急速に普及している。論文は、敵対者が訓練データを汚染し、潜在表現を毒化し、複合的なロールアウト誤差を悪用することで、安全が重要な展開に重大な劣化を引き起こす可能性があると指摘する。

詳細

論文は、世界モデルのランドスケープ調査、軌道永続性（trajectory persistence）と表現リスク（representational risk）の形式的定義、5プロファイルの攻撃者分類（five-profile attacker taxonomy）、MITRE ATLASとOWASP LLM Top 10を統合した統一脅威モデルを提示する。実証的な概念実証として、GRUベースのRSSMに対する軌道永続的敵対的攻撃（A1 = 2.26倍の増幅、敵対的ファインチューニング下で報酬が-59.5%減少）を示し、確率的RSSMプロキシによるアーキテクチャ依存性の検証（A1 = 0.65倍）、実在のDreamerV3チェックポイントでの非ゼロの行動ドリフトの確認を行った。緩和策として、敵対的ハードニング、アライメント工学、NIST AI RMFとEU AI法のガバナンス、ヒューマンファクター設計を提案し、世界モデルには飛行制御ソフトウェアや医療機器と同等の厳格さが必要だと論じている。

Key Facts

本紙の見方

本論文の位置づけは、世界モデルのリスクを初めて体系的に整理した点にある。世界モデルはロボットや自動運転の分野で急速に採用が進む一方、その安全性議論は個別の攻撃手法やアライメント問題に散在していた。本論文は、攻撃者分類と統一脅威モデルを提示することで、分野横断的なリスク評価の枠組みを提供する。特に、軌道永続性（trajectory persistence）という概念は、世界モデルが予測する未来状態が敵対的入力によって長期間にわたり劣化する現象を形式化したもので、従来の単発的な攻撃とは異なる持続的脅威を捉えている。 実証結果は、攻撃の影響がアーキテクチャに依存することを示唆する。GRUベースのRSSMでは報酬が59.5%減少したのに対し、確率的RSSMプロキシでは増幅率が0.65倍と低く、アーキテクチャの違いが脆弱性に大きく影響する。これは、世界モデルの安全性評価が特定の実装に依存することを意味し、汎用的な安全基準の策定を難しくする。また、DreamerV3の実チェックポイントで行動ドリフトが確認されたことは、現実のモデルにも攻撃が有効である可能性を示す。 業界構造への含意として、世界モデルを搭載したロボットや自動運転車の開発企業は、訓練データの完全性管理と敵対的ロバストネス対策を製品開発の初期段階から組み込む必要がある。特に、データ汚染や潜在表現の毒化は、サプライチェーン全体のセキュリティ問題であり、モデル提供者とシステムインテグレーターの間での責任分担が焦点になる。また、NIST AI RMFやEU AI法といった規制枠組みが世界モデルに適用される場合、その評価基準はまだ確立されておらず、今後の議論が待たれる。 未確定の論点として、論文が提案する緩和策の実効性は実証されておらず、特に敵対的ハードニングが世界モデルの予測精度に与える影響は不明である。また、攻撃者分類の網羅性や、実世界の展開における攻撃の実現可能性（例えば、物理的なセンサー改ざんとデータ汚染の組み合わせ）は、今後の研究で検証されるべきである。さらに、世界モデルの規模が大きくなるにつれて、ロールアウト誤差の累積がどの程度深刻になるかは、スケーリング則の観点からも未解明である。

なぜ重要か

世界モデルはロボットや自動運転の意思決定を支える基盤技術となりつつあり、その安全性は人命に関わる。本論文は、攻撃者が世界モデルを標的にした場合のリスクを体系的に示し、開発者や規制当局が考慮すべき脅威の全体像を提供する。これは、世界モデルの実用化が進む中で、安全基準の策定や設計指針に直接的な影響を与える可能性がある。