日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.24494

注意フィードバックで敵対的パッチからロボットを守る学習不要の防御手法

RECLAIM: Robot-Vision-Informed Adversarial Patch Defense via Embodied Attention Feedback

シェア:XThreadsFacebookLINEはてブBluesky

凍結したVLAポリシーの注意応答とロボット形状を利用し、追加学習なしで推論時に敵対的パッチを局所浄化する防御手法RECLAIMを提案。LIBERO-Objectでの成功率を0%から70%に改善した。

詳しい要約

1. どんなもの?

- 本論文は RECLAIM を提案する。 - 視覚-言語-行動(VLA)ポリシーで制御される embodied agent に対する adversarial patch 攻撃への防御手法。 - training-free かつ inference-time の防御で、追加学習や補助モデルを必要としない。 - 対象は closed-loop の embodied manipulation。 - adversarial patch が action 予測を汚染し、その結果として観測自体も変化するループを問題視。 - frozen VLA の attention 応答を利用し、局所的な視覚介入への反応から purification の位置と方法を決める。

2. 先行研究と比べてどこがすごい?

- 既存防御は policy adaptation や auxiliary models に依存し、追加の training や inference を要する点が課題。 - RECLAIM は training-free / inference-time で、追加学習なしに防御を行う点が異なる。 - frozen VLA をそのまま使い、その attention 応答を防御信号として再利用する。 - 単発の画像浄化ではなく、robot の embodied action により scene が変化する closed-loop 設定で再検証する点が特徴。 - 具体的な先行研究名や定量比較の詳細は要旨からは不明。

3. 技術・手法の肝は?

- 核となる着想: 局所編集で生じる VLA の attention 変化を feedback として、どこをどう purify するか選択。 - RECLAIM の構成要素: - frozen VLA の attention response を利用した feedback 取得。 - robot geometry と組み合わせて patch localization を精緻化。 - 局所的な treatment(purification)を選択。 - agent の embodied action で観測 scene が変わるたびに treatment を revalidate。 - 全体として closed-loop manipulation 中の inference-time 浄化を実現。

4. どうやって有効だと検証した?

- 4 種類の adversarial attack 手法が生成した patch に対して評価。 - 複数の manipulation task suites を frozen VLA 制御下で使用。 - 主な結果: - adversarial patch 攻撃下で、評価タスクの 95% 以上で少なくとも 1 rollout 成功。 - LIBERO-Object の rollout success を防御なしの 0% から 70.0% へ改善。 - 平均 decision time は制御ステップあたり 548.9 ms。 - 攻撃手法名・タスク suite の詳細・ベースライン比較の内訳は要旨からは不明。

5. 議論はある?

- 著者らは policy-guided visual purification が embodied agent の adversarial patch 防御に有効で、closed-loop タスク実行を回復できると主張。 - 示された議論・限界: - 評価は 4 攻撃手法・複数 task suites に限定され、未知攻撃への汎化は要旨からは不明。 - 548.9 ms/step の decision time が実時間要件に与える影響は要旨からは不明。 - training-free のため追加学習コストは避けられるが、frozen VLA の attention 品質への依存度は不明。 - より広い robot 形態や実機環境での検証は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていないため、同分野の定番として以下を挙げる。 - adversarial patch 攻撃: Adversarial Patch。 - VLA ポリシー: RT-2 などの Vision-Language-Action モデル。 - ベンチマーク: LIBERO。 - 防御一般: adversarial training、input purification。 - 要旨中で直接比較されている手法名は不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiayou Zhu, Peng Guo, Litian Zhang, Xinze Shi, Yuting Zhang, Zelong Yu, Yize Tian, Jirong Liu, Zifeng Kang

分類: cs.RO, cs.CR, cs.CV

原文アブストラクト

Vision-language-action policies control embodied agents through a perception-action loop grounded in physical interaction, where adversarial patches can corrupt action predictions and thereby alter subsequent observations. To mitigate these threats, many existing defenses rely on policy adaptation or auxiliary models, but require additional training or inference. We introduce RECLAIM, a training-free, inference-time defense that uses a frozen VLA's own attention response to local visual interventions to guide purification during closed-loop embodied manipulation. Our key insight is that attention changes induced by local edits provide feedback for choosing where and how to purify as the robot interacts with its environment. RECLAIM combines this feedback with robot geometry to refine patch localization and select local treatments, then revalidates them as the agent's embodied actions change the observed scene. We evaluate RECLAIM against patches generated by four adversarial attack methods across multiple manipulation task suites under frozen VLA control. Under adversarial patch attacks, RECLAIM succeeds in at least one rollout on 95% of the evaluated tasks and raises rollout success on LIBERO-Object from 0% without defense to 70.0%. Its mean decision time is only 548.9 ms per control step. These results highlight policy-guided visual purification as an effective approach to defending embodied agents against adversarial patches and recovering closed-loop task execution.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI