LeWorldModel、微小な画像摂動でPush-T計画成功率が87%から32%に低下と報告

何が起きたか

arXiv掲載の論文「Spoofing the Latent State: Imperceptible Goal-Image Attacks Derail Planning in LeWorldModel」は2026年10月30日、LeWorldModel（LeWM）の潜在表現を用いた計画に対するテスト時攻撃を報告した。単一入力フレームに白箱のℓ∞摂動ε=4/255を加えると、73〜95%のシーンでブロックが攻撃者の指定した姿勢にあるとエンコーダーに認識させた。ゴール画像またはカメラ観測を攻撃した場合、Push-Tの計画成功率は87%から32%に下がった。

詳細

論文はPush-Tで潜在距離の性質を分析し、ブロックを1ピクセル動かしたときの埋め込み変化が、同量のエージェント移動による変化の3倍になると報告した。また、シーン間の距離の99%はブロックの姿勢の違いだけで説明されたという。一方、姿勢情報は曲がった高次元多様体に分散しており、エンコーダーを後処理で単純に編集して情報を分離・誘導することはできないとしている。 同論文によると、この脆弱性はPush-T、Two-Room、Reacher、OGBench-Cubeの4つの標準ベンチマークで確認された。ε=8/255では、全環境で攻撃により目標埋め込みまでの二乗潜在距離の82〜97%を埋め、攻撃対象の状態に依存した計画性能の低下を引き起こした。摂動量がその2倍の一様ランダムノイズは、影響がほとんどなかった。

Key Facts

本紙の見方

本論文の焦点は、LeWorldModelの視覚認識全般ではなく、予測した埋め込みとゴール埋め込みの二乗ユークリッド距離を最小化する計画インターフェースである。Push-Tでは、ブロックの1ピクセル移動が同量のエージェント移動より埋め込みを3倍動かし、シーン間距離の99%がブロック姿勢の差に対応した。つまり計画に有用な物体状態を潜在距離が強く反映する一方、その同じ構造が、入力画像の小さな変化を行動計画の誤誘導へつなぐ経路にもなっている。論文が示す新しさは、この潜在計画の幾何がテスト時の摂動に利用され、ゴール画像だけでなくライブ観測からも計画を崩し得るという点にある。 ただし、LeWMがピクセルから学習する視覚世界モデルであり、SIGRegを用いること、埋め込み間距離で計画すること自体は、論文が説明する既存の方式である。攻撃の成立だけから、学習時の表現学習やモデル全体が無効だとは言えない。また姿勢情報は曲がった高次元多様体に分散し、エンコーダーの単純な事後編集では分離・誘導できないとされる。これは、問題が固定された線形部分空間の除去で解決するとは限らず、距離の使い方と入力の頑健性を一体で検討する必要を示唆する。 業界構造への含意は、計画器が画像を直接扱わず潜在表現を使う場合でも、ゴール画像とカメラ観測の双方が計画上の攻撃面になり得ることだ。ε=4/255で成功率が87%から32%へ落ち、同じ摂動量の2倍の一様ランダムノイズはほぼ影響しなかったという対照は、単純なノイズ耐性だけでは、この種の標的型攻撃への耐性を評価できない可能性を示す。さらに4ベンチマークで確認された一方、論文要旨の範囲では、実環境での攻撃可能性、白箱条件を外した場合の成立性、対策後の成功率や性能との両立は示されていない。次に検証すべきなのは、これらの条件を変えた評価と、攻撃を受けた際の安全な停止・計画切り替えがどの程度機能するかである。

なぜ重要か

LeWMのようにゴール画像とカメラ観測の埋め込み距離で計画する方式では、論文が示したε=4/255の摂動が、Push-Tの成功率を87%から32%に下げた。物体の状態を潜在距離に強く反映する設計が計画に使われる一方、その入力を標的型に変えられる場合の頑健性が、ベンチマーク評価の論点となる。