何が起きたか
arXivに公開された論文『Hijacking Robots with a Piece of Paper: A Systematic Study of Physical Prompt Injection in VLM-Controlled Robots』は、視覚言語モデル(VLM)で制御されるロボットの選別作業に対する物理的プロンプトインジェクション攻撃を体系的に研究した。攻撃は、ロボットの視野内に置かれたテキストがVLMへの間接的なプロンプトインジェクションとして機能するというもの。研究者らは、間接標識、タスク再定義、権限なりすまし、競合インジェクションの4カテゴリからなる分類法を提案し、20の攻撃プロンプトを3つの物理的シーン配置と3つのコマンド形式で評価した。5,670回の試行で、GPT-4o、Gemini 2.5 Flash、Qwen3-VL-32Bの攻撃成功率はそれぞれ27.0%、29.4%、5.0%だった。権限なりすましと否定攻撃は3モデルすべてに転移した。推論トレースの分析では、成功した侵害のほぼすべて(99.9%)が意識的なものであることが判明。防御策として、プロンプトベースの防御(モデル依存で75〜100%有効)、2段階検証(85〜100%)、前処理テキストマスキング(100%)を評価した。
Key Facts
| 論文はVLM制御ロボットの選別作業に対する物理的プロンプトインジェクション攻撃を体系的に研究した。 | [0] |
| 攻撃はロボットの視野内のテキストがVLMへの間接的プロンプトインジェクションとして機能するというもの。 | [0] |
| 分類法は間接標識、タスク再定義、権限なりすまし、競合インジェクションの4カテゴリからなる。 | [0] |
| 20の攻撃プロンプトを3つの物理的シーン配置と3つのコマンド形式で評価した。 | [0] |
| 5,670回の試行で、GPT-4o、Gemini 2.5 Flash、Qwen3-VL-32Bの攻撃成功率はそれぞれ27.0%、29.4%、5.0%だった。 | [0] |
| 権限なりすましと否定攻撃は3モデルすべてに転移した。 | [0] |
| 成功した侵害のほぼすべて(99.9%)が意識的なものであった。 | [0] |
| 防御策として、プロンプトベースの防御(モデル依存で75〜100%有効)、2段階検証(85〜100%)、前処理テキストマスキング(100%)を評価した。 | [0] |
なぜ重要か
VLMをプランナーとして搭載するロボットシステムが増える中、視覚シーン内の物理的なテキストが攻撃ベクトルとなり得ることを示した点で重要。単純な防御策がリスクを大幅に低減できる一方、モデルや防御策の選択にはトレードオフがあるとしている。