VLA2026/9/14arXiv:2609.15781

世界モデルが嘘をつくとき：下流制御に対するバックドア攻撃

When the World Lies: Backdoor Attacks on Latent World Models for Downstream Control

事前学習済み世界モデルの再利用に潜むサプライチェーン型バックドアを提示し、汚染済みチェックポイントがクリーンな学習・評価下でも下流の制御器を乗っ取り、トリガー提示時のみ攻撃者の目標行動を再発見させることを示した。

詳しい要約

1. どんなもの？

- Pretrained world model を制御用 dynamics backbone として再利用する際の supply-chain backdoor を提示 - 攻撃者は released checkpoint のみを制御し、victim は clean data のみで学習・評価 - trigger を含む観測を特定 latent region に誘導し、局所 dynamics を改変 - victim 自身の最適化 (Dreamer-style actor training, MPC/CEM planning) が攻撃者の target action を再発見 - 複数 control task と trigger family で、trigger 時は全 action 次元を制御し 100% hijack - clean-task success は約75%以上を維持し、clean-data diagnostics を通過 - 効果は trigger 存在時のみ発現する temporally gated な性質

2. 先行研究と比べてどこがすごい？

- 従来の backdoor は明示的な trigger-to-action rule を埋め込むが、本手法は規則を符号化しない - poisoned model が latent 空間の routing と局所 dynamics を変形し、victim の最適化に target action を自力で再発見させる点が新しい - pretrained encoder や language model の再利用に対する supply-chain 攻撃の知見を world model ベース制御に拡張 - clean data のみで学習・評価する victim に対しても成立し、clean 診断を通過する点が先行研究と異なる - world model backbone 自体が未検討の attack surface であることを示した

3. 技術・手法の肝は？

- 攻撃者は released checkpoint のみを改変可能 - trigger を含む観測を選んだ latent region へ routing するようモデルを poison - その latent region の局所 dynamics を reshape し、victim の actor training や planning が target action を選ぶよう誘導 - 明示的な trigger-to-action 規則は埋め込まない - Dreamer-style actor training in imagination と MPC/CEM planning over predicted futures の両方で機能 - 効果は trigger 存在時のみ現れ、除去すると消える temporally gated 設計

4. どうやって有効だと検証した？

- 複数の control task と trigger family で評価 - trigger 時は全 action 次元を攻撃者の target へ誘導し、最強設定で 100% の triggered steps を hijack - clean-task success が約75%以上維持され、victim が展開前に実施する clean-data diagnostics を通過 - trigger 除去時に効果が消えることを確認 - trigger-blind repair の予算依存性を検証: 中程度の clean fine-tuning では clean utility を保つが triggered failure が残存、十分に強い adaptation では clean control を大幅に劣化させた後に除去可能

5. 議論はある？

- world model backbone が制御における新たな攻撃面であると主張 - trigger-blind repair は予算依存で、clean utility と backdoor 除去のトレードオフが存在 - 中程度の fine-tuning では backdoor が残り、強い adaptation では clean 性能が犠牲になる - clean-data diagnostics だけでは検出できない可能性を示唆 - 防御や検出方法、他の制御設定への一般性については要旨からは不明

6. 次に読むべき論文は？

- Dreamer-style actor training - MPC/CEM planning - pretrained world models - supply-chain backdoor attacks - clean fine-tuning / trigger-blind repair - latent world models for control

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Roberto Riaño, Gorka Abad, Stjepan Picek, Aitor Urbieta

分類: cs.CR, cs.AI, cs.LG

原文アブストラクト

Pretrained world models, learned simulators that encode an observation into a latent state and predict how it evolves under actions, are beginning to be reused as off-the-shelf dynamics backbones for control, like pretrained encoders and language models are reused today. We show that this reuse opens a supply-chain backdoor: an adversary who controls only a released checkpoint can hijack the downstream controller, even though the victim trains and evaluates entirely on clean data and never sees the trigger. The attack encodes no explicit trigger-to-action rule. Instead, the poisoned model routes trigger-bearing observations into a chosen latent region and reshapes the local dynamics there, so that the victim's own optimization (Dreamer-style actor training in imagination, or MPC/CEM planning over predicted futures) re-discovers the attacker's target action on its own. Across several control tasks and trigger families, the trigger steers the controller's action toward the attacker's target, controlling every action dimension and hijacking 100\% of triggered steps on the strongest settings. The checkpoint still passes the clean-data diagnostics a victim would run before deployment, with clean-task success retaining at least $\sim$75\%. The effect is temporally gated: it appears only while the trigger is present and disappears when the trigger is removed. Trigger-blind repair is budget-dependent: moderate clean fine-tuning can preserve clean utility while leaving the triggered failure intact, whereas sufficiently aggressive adaptation can remove it only after substantially degrading clean control. The world-model backbone itself is therefore an emerging and underexamined attack surface for control. The full code and artifacts are available in our repository.

arXivで原文を読む →arXiv概要ページ