何が起きたか
研究チームは、Vision-Language-Action (VLA) ポリシーが物理世界の攻撃に対して脆弱であることを示し、特に「ポリシー臨界のアクション・ツー・ビジョン注意ハイジャック」というメカニズムを特定した。これは、アクション条件付き注意がタスク関連領域から局所的なパッチに逸れる現象である。攻撃手法として、Attention-Guided Semantic Disruption (AGSD) を提案。これはExpectation-over-Transformation (EOT) 最適化された印刷可能なパッチで、アクション・ツー・ビジョン注意をパッチに集中させると同時に、視覚と言語の意味的整合性を破壊し、クロスタスク・クロスアーキテクチャで強い転移性を持つ。防御手法として、Structure-Aware Robust Fine-Tuning (SARF) を導入。これは視覚エンコーダのみを微調整し、特徴アンカリング、ポリシー臨界注意補正、言語誘導の幾何学的整合性を意味的に関連する領域に限定して適用する。ゼロ推論オーバーヘッドの防御である。
Key Facts
| VLAポリシーは物理世界の攻撃に対して脆弱であり、物理的に実現可能な敵対的パッチが失敗を誘発する。 | [0] |
| 攻撃メカニズムは「ポリシー臨界のアクション・ツー・ビジョン注意ハイジャック」と呼ばれ、アクション条件付き注意がタスク関連領域から局所的なパッチに逸れる。 | [0] |
| 攻撃手法AGSDはEOT最適化された印刷可能なパッチで、注意をパッチに集中させると同時に視覚と言語の意味的整合性を破壊し、クロスタスク・クロスアーキテクチャで強い転移性を持つ。 | [0] |
| 防御手法SARFは視覚エンコーダのみを微調整し、特徴アンカリング、ポリシー臨界注意補正、言語誘導の幾何学的整合性を意味的に関連する領域に限定して適用する。 | [0] |
| LIBEROベンチマークで、SARFはOpenVLAのAGSD下での失敗率を100%から14.2%-56.8%（平均28.6%）に低減し、クリーン性能を維持した。 | [0] |
| 実機PiPERマニピュレータでは、AGSD下での平均成功率を23.0%から65.0%に向上させた。 | [0] |
なぜ重要か
この研究は、VLAロボットの物理的攻撃に対する脆弱性を初めて体系的に示し、メカニズムレベルの防御が実用的な解決策となることを実証した。SARFは推論オーバーヘッドなしで防御できるため、実世界のロボット展開に有望であり、ロボットセキュリティの新たな方向性を示す。