安全計画/LLMロボット2026/10/17arXiv:2610.24603

危険な部分を拒否しつつタスクを完遂するルールグラフ計画法

Refuse the Harm, Complete the Task via Graph-of-Rules Planning for LLM-Enabled Robots

複合的な指示に含まれる危険なサブタスクだけを拒否し、安全な部分を遂行するために、複数のエージェントがルールをグラフ状に検証・計画するフレームワークRuleGraphを提案した。

詳しい要約

1. どんなもの？

- LLM を用いた embodied AI / ロボティックマニピュレーションにおける安全性問題を扱う研究 - 危険な指示の一部を拒否しつつ、正当な部分は完了する『safe task completion』というタスクを提案 - 単一の危険を含む短い指示ではなく、安全/危険サブタスクが混在する compound instructions を対象 - 提案手法 RuleGraph は multi-agent の Graph-of-Rules planning framework - 2 環境・2 ベンチマークで ASR と TSR により評価

2. 先行研究と比べてどこがすごい？

- 既存の inference-time defenses は主に単一の危険を含む短い指示で評価されており、現実的な compound instructions を扱えていない - 単一の安全判断では危険サブタスクと正当サブタスクの区別が難しく、危険の見逃しや指示全体の拒否が起きうる - RuleGraph は安全強制を複数の reasoning / verification 段階に分散し、単一の centralized safety decision への依存を減らす - 結果として両ベンチマークで ASR を 0% に低減しつつ、全手法中最高の TSR を達成

3. 技術・手法の肝は？

- 5 つの協調エージェントからなる multi-agent 構成 - 一般安全原則を world-specific rules に ground する - 指示のサブタスクを文脈で評価し、正当なサブタスクから safe goal を導出 - 計画を rule-specific nodes の graph として組織化 - 上位ノードは親ノードのルールの union を継承 - 候補計画を段階的に検証・集約し、全関連ルールを満たす単一計画に収束させる

4. どうやって有効だと検証した？

- pure-attack と compound instructions の両方で評価 - 2 つのベンチマーク、2 つの環境で実験 - 指標は Attack Success Rate (ASR) と Task Success Rate (TSR) - 両ベンチマークで ASR 0% を達成 - TSR は RoboGuard benchmark で 98.57%、long-horizon compound instructions で 84.54% と全手法中最高

5. 議論はある？

- 単一の centralized safety decision への依存を減らす設計の有効性を主張 - compound instructions における安全性とタスク完了の両立が主題 - 具体的な限界・失敗ケース・計算コスト・エージェント間の誤り伝播などの議論は要旨からは不明

6. 次に読むべき論文は？

- RoboGuard benchmark（本論文で比較・評価に使用） - jailbreak attacks に関する研究（LLM の安全性脆弱性） - inference-time defenses に関する既存研究 - LLM-enabled robot の manipulation / planning に関する研究 - multi-agent planning や graph-based planning の関連手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ali Taheri, Alireza Taban, Qizhou Wang, Wanhua Li

分類: cs.RO

原文アブストラクト

Large Language Models (LLMs) are increasingly used in embodied AI for robotic manipulation and planning, but their deployment in physical systems exposes vulnerabilities such as jailbreak attacks that induce unsafe behavior. Existing inference-time defenses are mainly evaluated on short instructions containing a single hazard, whereas realistic tasks may interleave safe and unsafe sub-tasks, conceal hazardous steps, or combine individually safe actions into unsafe outcomes. Such compound instructions make it harder for a single safety decision to distinguish hazardous sub-tasks from legitimate ones, risking either overlooking the hazard or rejecting the whole instruction. We introduce safe task completion, a task that requires an LLM-enabled robot to refuse the harmful part of an instruction while completing its legitimate part. To address this problem, we propose RuleGraph, a multi-agent Graph-of-Rules planning framework that distributes safety enforcement across multiple reasoning and verification stages. Five cooperating agents are used to ground general safety principles into world-specific rules, assess the instruction's sub-tasks in context, and derive a safe goal from the legitimate ones. Planning toward this goal is then organized as a graph of rule-specific nodes, where higher-level nodes inherit the union of their parents' rules, and candidate plans are progressively verified and aggregated until a single plan satisfies every relevant rule. In this way, RuleGraph reduces reliance on a single centralized safety decision. We evaluate RuleGraph on pure-attack and compound instructions across two benchmarks in two environments using Attack Success Rate (ASR) and Task Success Rate (TSR). RuleGraph reduces ASR to 0% on both benchmarks while achieving the highest TSR among all methods, reaching 98.57% on the RoboGuard benchmark and 84.54% on our long-horizon compound instructions.

arXivで原文を読む →arXiv概要ページ

← 論文一覧