日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

敵対的攻撃/VLAarXiv:2611.22736

RefCloth:視覚言語行動モデル向けの転移可能な敵対的テーブルクロス

RefCloth: Transferable Adversarial Tablecloths for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

冷凍したVLAポリシー上で1枚の敵対的テーブルクロステクスチャを最適化し、タスク物体やカメラを変えずに未見タスク・他モデルへゼロショット転移させて成功率を大きく低下させる手法を提案。

詳しい要約

1. どんなもの?

- 閉ループの vision-language-action (VLA) policy を対象に、1枚の持続的な adversarial tablecloth(机を覆う布テクスチャ)を最適化し、zero-shot で未知タスク・未知モデルに転移させる攻撃フレームワーク RefCloth を提案。 - タスク物体やカメラを改変せず、third-person の静的視点と wrist の移動視点の両方から観測される world-bound なテクスチャとして機能する。 - 対象は LIBERO スイート上の操作タスクで、OpenVLA-OFT から π_0 や π_{0.5} への転移を実証。

2. 先行研究と比べてどこがすごい?

- 既存の visual attack は 2D patch でセンサストリームを乗っ取るか、操作物体の mesh を改変し物体変更のたびに再学習が必要だった。 - RefCloth は frozen source policy 上で1枚の布を最適化するだけで、タスク物体もカメラも変更せず zero-shot 転移を実現する点が新しい。 - 未最適化の布と比べ、LIBERO 4スイートで成功率を平均 62.50 / 43.75 ポイント低下させ、振幅・変動を揃えた random control を大きく上回る。

3. 技術・手法の肝は?

- 有界な texture parameterization と共有 surface UV transformation を組み合わせ、変化する表面視点への汎化を図る。 - differentiable renderer と native renderer のギャップを埋めるため、same-path clean reference を用いて初期化時の静的レンダリングオフセットを除去する path calibration を導入。 - 静的 third-person view と移動する wrist view が進化するオクルージョン下で共有テクスチャを観測する設定を最適化に反映。

4. どうやって有効だと検証した?

- native simulation の LIBERO 4スイートで、frozen texture を OpenVLA-OFT から π_0 と π_{0.5} に転移し、成功率低下を計測。 - 未最適化の布および振幅・変動を揃えた random control と比較。 - dual-view audits と target closed-loop camera interventions により視点別の寄与を分析し、ablation で UV diversification と path calibration の役割を確認。

5. 議論はある?

- moving wrist view への曝露が main view 単独の低下の2倍以上を駆動し、両視点に強い相乗効果があることを dual-view audits が示す。 - カメラ介入実験から closed-loop での視点依存性が議論される。 - 実世界展開や他 VLA への一般化、防御策については要旨からは不明。

6. 次に読むべき論文は?

- OpenVLA-OFT(転移元 policy) - π_0 / π_{0.5}(転移先 VLA モデル) - LIBERO(評価スイート) - 比較対象として amplitude- and variation-matched random controls および未最適化 cloth - 関連手法として 2D patch 型 visual attack や mesh 改変型攻撃(具体名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shaozhen Liu, Zhiwei Li, Jiayang Sun, Shuangjun Du, Yi Zhong, Shenrui Ma, Yaozu Liu, Qi Li, Zhenan Sun

分類: cs.CV

原文アブストラクト

Closed-loop vision-language-action (VLA) policies rely continuously on multi-view cameras, yet existing visual attacks typically hijack sensor streams with 2D patches or alter target object meshes that require retraining when manipulation objects change. We introduce RefCloth, a framework that optimizes one persistent adversarial tablecloth on a frozen source policy and deploys it zero-shot across unseen tasks and target models without modifying task objects or cameras. Throughout manipulation, static third-person and moving wrist views observe this shared world-bound texture under evolving occlusions. To generalize across shifting surface views while bridging the gap between differentiable and native renderers, RefCloth combines bounded texture parameterization with shared surface UV transformations and a same-path clean reference that removes static rendering offsets at initialization. Across four LIBERO suites in native simulation, one frozen texture transfers from OpenVLA-OFT to $π_0$ and $π_{0.5}$, reducing success relative to an unoptimized cloth by 62.50 and 43.75 percentage points on average and far exceeding amplitude- and variation-matched random controls. Dual-view audits and target closed-loop camera interventions show that moving wrist exposure drives over twice the standalone drop of the main view with strong synergy, while ablations confirm the roles of UV diversification and path calibration.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5パナソニックHD、「現場起点のPhysical AI」の研究開発加速を発表研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI