構造認識型ロバスト微調整：物理的注意ハイジャックに対する視覚言語行動ロボットの防御

本論文は、Vision-Language-Action (VLA) ポリシーに対する物理的攻撃の脆弱性を指摘し、その防御手法を提案する。具体的には、物理的に実現可能な adversarial patch が、action-conditioned attention をタスク関連領域から patch へ逸らす「policy-critical action-to-vision attention hijacking」というメカニズムを引き起こすことを示す。攻撃手法として Attention-Guided Semantic Disruption (AGSD) を、防御手法として Structure-Aware Robust Fine-Tuning (SARF) を提案する。SARF は visual encoder のみを fine-tuning し、feature anchoring、policy-critical attention correction、language-guided geometric consistency を用いる。

先行研究では、VLA ポリシーの物理的攻撃に対する頑健性は十分に検討されていなかった。本論文は、物理的 patch 攻撃が VLA の attention 機構を標的とする新たな攻撃メカニズムを特定し、それに対する機構レベルの防御を提案する点が新しい。また、SARF は zero-inference-overhead であり、既存の防御手法と比較して実用的である。

攻撃手法 AGSD は、Expectation-over-Transformation (EOT) 最適化を用いて printable patch を生成し、action-to-vision attention を patch に集中させると同時に vision-language semantic alignment を破壊する。防御手法 SARF は、visual encoder のみを fine-tuning し、feature anchoring、policy-critical attention correction、language-guided geometric consistency を意味的に関連する領域に限定して適用する。

LIBERO ベンチマークで、OpenVLA の AGSD 下での失敗率を 100% から 14.2%-56.8%（平均 28.6%）に低減し、クリーン性能を維持することを確認。実機の PiPER manipulator では、AGSD 下での平均成功率を 23.0% から 65.0% に向上させた。

要旨からは、SARF の汎用性や他の VLA アーキテクチャへの適用可能性、攻撃の物理的実現性の詳細、計算コストなどについての議論は不明。また、防御が特定の攻撃にのみ有効である可能性や、より強力な攻撃への耐性についての議論も要旨には含まれていない。

要旨で参照されている研究は明示されていないが、関連する分野として、VLA ポリシー（OpenVLA など）、adversarial patch 攻撃（EOT 最適化）、attention 機構の解釈性、robust fine-tuning 手法などが挙げられる。具体的には、OpenVLA の元論文、adversarial patch の古典的論文（例えば Brown et al.）、attention に基づく防御手法などが関連する。