日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ロボットセキュリティarXiv:2611.22761

LLM制御ソーシャルロボットに対するネットワーク露出型設定攻撃

Network-Exposed Configuration Attacks on LLM-Controlled Social Robots

シェア:XThreadsFacebookLINEはてブBluesky

Reachy Mini Liteの管理インターフェースに認証がなく、攻撃者が性格設定やクラウドLLMのシステムプロンプトを書き換えられることを実機で示した論文。

詳しい要約

1. どんなもの?

- LLM を搭載した embodied robot(Pollen Robotics Reachy Mini Lite)に対する、ネットワーク経由の configuration 攻撃を扱った研究。 - 認証なしの攻撃者が管理 interface を通じて personality 設定や cloud LLM の system prompt を置換できることを示す。 - 対話入力(adversarial conversational input)を必要としない点が特徴。 - 物理ハードウェア上で観測可能な挙動変化を確認。 - 脆弱性を CWE-306、CWE-1327、CWE-352 にマッピングし、CVSS v3.1 で 6.5 (Medium) と報告。

2. 先行研究と比べてどこがすごい?

- 従来の LLM セキュリティ研究は inference 層の prompt injection 耐性に注目しがち。 - 本研究は 5 カテゴリ 11 件の prompt-injection 試行が「抵抗された」と報告される一方、configuration 層の攻撃経路が物理ハードウェアで挙動変化を生むことを示す。 - つまり inference 層の refusal が model instructions の不正変更を防げないという deployment gap を浮き彫りにする。 - 59 の公開 repository の source review により、サンプル内での再発性を示した点も従来と異なる視点。

3. 技術・手法の肝は?

- 対象は Pollen Robotics Reachy Mini Lite の管理 interface と configuration endpoint。 - 認証なしで personality 設定および cloud LLM の system prompt を置換する攻撃を試行。 - local access と network-adjacent access の両方を実証。 - CORS preflight なしで cross-origin request を受け付ける endpoint を確認(CWE-352)。 - persistent-memory sink が stated restrictions を強制せず内容を保存することを指摘。 - 59 の公開 repository を source review し、11 中 10(framework-default 含め 11 中 11)で missing authentication を同定。

4. どうやって有効だと検証した?

- 物理ハードウェア上で configuration-layer 攻撃経路による観測可能な挙動変化を確認。 - 5 カテゴリ 11 件の prompt-injection 試行は抵抗されたと報告。 - local および network-adjacent access を実証。 - 59 の公開 repository の source review により、サンプル内での再発性を検証。 - proof-of-concept code、evidence、survey を https://bit.ly/reachypi で公開。

5. 議論はある?

- 開発者向けのネットワーク前提と、consumer-facing embodied AI のセキュリティ要件との deployment gap を特徴づけ。 - inference-layer refusal だけでは model instructions の不正変更を防げないと指摘。 - 想定される影響として、onboard cameras と microphones による surveillance、周辺ユーザへの social engineering を挙げる。 - 59 repository の知見はサンプル内の再発性であり、商用製品での prevalence ではないと明記。 - その他の議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として prompt injection 耐性評価、CWE-306/CWE-1327/CWE-352 に関する脆弱性研究、embodied AI の deployment security に関する研究を挙げる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Stanley Akingbola, Ugbede Ibrahim, Yan Lin Aung, Quang Dan Le, Hong Qing Yu

分類: cs.CR, cs.AI, cs.RO

原文アブストラクト

Large language models (LLMs) in embodied robots create security dependencies beyond inference. We investigate a network-exposed configuration attack on the Pollen Robotics Reachy Mini Lite, allowing an unauthenticated attacker to replace personality settings and the cloud LLM's system prompt through a management interface, without adversarial conversational input. Eleven prompt-injection attempts across five categories were reported as resisted, whereas both configuration-layer attack paths produced observable behavioural changes on physical hardware. We demonstrate local and network-adjacent access, mapping the weakness to CWE-306 (Missing Authentication for a Critical Function) and CWE-1327 (Binding to an Unrestricted IP Address), with a reported CVSS v3.1 score of 6.5 (Medium). A configuration endpoint also accepts cross-origin requests without a CORS preflight (CWE-352; 6.5 Medium), while the persistent-memory sink stores content without enforcing its stated restrictions. A source review of 59 public repositories identifies missing authentication in 10 of 11 source-verifiable genuine applications, or 11 of 11 including a framework-default case. These findings indicate recurrence within the sampled repositories, not prevalence in commercial products. We characterise a deployment gap between developer-oriented network assumptions and consumer-facing embodied AI security: inference-layer refusal cannot prevent unauthorised changes to model instructions. Potential consequences include surveillance through onboard cameras and microphones and social engineering of nearby users. Proof-of-concept code, evidence and the survey are available at https://bit.ly/reachypi.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5パナソニックHD、「現場起点のPhysical AI」の研究開発加速を発表研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI