TAPDreamer、世界行動モデル向けの転移性パッチ攻撃を提示

何が起きたか

arXiv掲載の論文「TAPDreamer: Transferable Adversarial Patches for World Action Models」は、2026-10-05に、世界行動モデルに対する攻撃手法TAPDreamerを提示した。公開エンコーダーだけを使って固定の局所摂動を構成し、対象モデルの出力や予測未来にアクセスせずに転移させる設計だとしている。 論文によると、1枚の固定パッチは入力の約6.5%を覆うだけで、LIBEROの40タスクではFastWAMの成功率を97.7%から0.0%に、RoboTwinの50タスクでは90.86%から0.0%に低下させた。

詳細

著者らは、パッチによる注意重みと value vector の変化の相互作用が、パッチ範囲を大きく超えてほぼ同一の表現変化を広げ、その変化がタスク観測間で安定すると説明している。これを踏まえ、6フレームを用いて、クリーンなエンコーダー表現とパッチ適用時の表現のグローバルL1距離を最大化するよう最適化したという。 閉ループ評価では、同じ凍結パッチがDreamWAMの2構成で成功率を1.45%と1.00%に、Motusで10.60%に下げた。一方、対応するランダムパッチはLIBEROで81.5%、RoboTwinで79.2%の成功率を保ったとしている。

Key Facts

本紙の見方

この論文の新しさは、世界行動モデルへの攻撃が、モデル出力への照会なしでも成立しうる点にある。従来の説明では、攻撃は対象モデルの行動や予測未来に合わせて最適化する必要があったが、TAPDreamerは公開エンコーダー単体から固定パッチを作る。つまり焦点は、行動生成層そのものではなく、複数タスクで共有される視覚表現に移っている。 数値面では、約6.5%という小さな被覆率の1枚パッチが、LIBEROの40タスクで97.7%から0.0%、RoboTwinの50タスクで90.86%から0.0%へと成功率を落とした点が重い。対応するランダムパッチが81.5%と79.2%を維持したことから、効果は単なる遮蔽やノイズではなく、注意重みと value vector の変化を介した表現の転移に依存すると読める。ここから、世界モデル系の防御は下流の方策出力だけを守っても不十分で、共有エンコーダーの頑健性を別途確保する必要があるという構図が浮かぶ。 本紙の見方では、これはロボット制御の安全性をめぐる論点を、行動ポリシーの脆弱性から視覚表現の持続的な汚染へと押し広げる結果だ。特に、同じ固定パッチがFastWAM、DreamWAM、Motusの複数構成で効いているため、モデルごとの個別対策ではなく、共通エンコーダー層の保護が本質になる可能性がある。もっとも、今回の結果は論文の閉ループ評価に基づくもので、実機や現実環境で同じ再現性が得られるかは別途確認が要る。次に確認すべきなのは、パッチの物理実装耐性、観測条件の変化に対する安定性、そしてどの種類のエンコーダー設計がこの転移性に最も影響するかである。

なぜ重要か

世界行動モデルを使うロボット制御では、出力段の監視だけでは不十分だと論文は示している。入力側の共有エンコーダーが約6.5%の局所摂動で広く崩れるなら、認識から行動までの連鎖のどこを守るかが設計上の課題になる。

日本への影響

日本で世界モデルや視覚ベースのロボット制御を扱う研究開発では、下流の制御だけでなく、共有視覚エンコーダーの保護と評価手順が重要になるとみられる。とくにカメラ入力を前提にした実験系では、入力摂動に対する再現性と頑健性をどう検証するかが焦点になる。