状態が攻撃面となるとき：LLM駆動型具現化エージェントにおける状態意味注入攻撃

本論文は、LLM駆動の具現化エージェント（LLM-driven embodied agents）における新たな攻撃面として、状態情報（state）へのセマンティック注入（State-Semantic Injection）を提案している。従来のLLMエージェントのセキュリティ研究が主にプロンプト注入やユーザー指示の改ざんに焦点を当ててきたのに対し、本論文は、エージェントが環境から取得する状態情報（例：シーン状態、物体属性、空間関係、実行フィードバック）が攻撃者によって操作されることで、エージェントの行動計画が悪意を持って変更される可能性を指摘する。具体的には、状態情報に埋め込まれた悪意のあるセマンティクスが、LLMの推論や計画に影響を与え、安全でない行動やタスクの失敗を引き起こすという脅威を定義し、その攻撃面を体系的に分析する。

先行研究では、LLMエージェントのセキュリティは主にプロンプトインジェクション（prompt injection）やユーザー指示の改ざんに焦点が当てられてきた。しかし、本論文は、エージェントが環境から受け取る状態情報自体が攻撃対象となる新しい攻撃面を提案している点が新しい。従来の研究がエージェントの入力（ユーザー指示やプロンプト）に注目したのに対し、本論文はエージェントの知覚（perception）や状態推定（state estimation）のプロセスに注目し、状態情報のセマンティクスを操作することでエージェントの行動を制御できることを示す。これにより、物理世界と相互作用するロボットシステムにおける新たなセキュリティリスクを明らかにしている。

手法の肝は、状態情報を攻撃ベクトルとして扱い、状態セマンティック注入（State-Semantic Injection）を定義することにある。具体的には、エージェントが環境から取得する状態情報（例：物体の属性、空間関係、実行フィードバック）に、悪意のあるテキストや命令を埋め込むことで、LLMの推論プロセスを操作する。攻撃者は、状態情報を改ざんするか、環境内に偽の状態情報を注入することで、エージェントの計画を誤った方向に導く。この手法は、エージェントの入力チャネル（状態情報）を攻撃面として捉え、LLMのコンテキスト内学習（in-context learning）や推論能力を悪用する点が特徴である。

要旨からは、具体的な検証方法は不明である。ただし、本論文は攻撃面の定義と分析に焦点を当てており、実験的な検証は行われていない可能性が高い。要旨では、SayCan、Code as Policies、ProgPrompt、VoxPoser、PaLM-E、RT-2、GR00T N1などの既存のLLM駆動エージェントを参照しており、これらのシステムに対する攻撃の可能性を議論しているが、実証的な検証結果は記載されていない。

議論としては、状態情報への攻撃が現実のロボットシステムに与える影響が大きいことが挙げられる。特に、物理世界と相互作用するエージェントでは、攻撃によって安全でない行動（例：危険な物体操作）が引き起こされる可能性があり、深刻な結果を招く恐れがある。また、状態情報は通常、センサーや環境から取得されるため、攻撃者が物理的に環境を操作することで攻撃が可能になるという現実的な脅威がある。一方で、状態情報の改ざんを検出する防御策や、状態情報の信頼性を確保する手法の開発が今後の課題となる。

次に読むべき論文としては、要旨で参照されている以下の研究が挙げられる。 - SayCan（言語モデルとロボットスキルのアフォーダンスを組み合わせた研究） - Code as Policies（ポリシーコードによるロボットタスク計画） - ProgPrompt（プログラム的プロンプトによるタスク計画） - VoxPoser（言語モデルと視覚言語モデルによる3次元価値マップの構築） - PaLM-E、RT-2、GR00T N1（視覚言語行動モデル） また、関連するプロンプトインジェクション攻撃の研究も参考になる。