日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

安全性評価arXiv:2611.14115

LEASH:エージェント型ロボティクスの安全性を確保するフレームワーク

LEASH: Stay Safe in Agentic Robotics

シェア:XThreadsFacebookLINEはてブBluesky

基盤モデルでロボットを制御する際の安全リスクを評価するベンチマークRoboRiskを提案し、タスク・行動・不可逆操作を審査する安全ハーネスLEASHを開発した論文。

詳しい要約

1. どんなもの?

- エージェント型ロボティクスにおける安全性評価と安全機構を扱った研究 - 安全性ベンチマーク RoboRisk を提案 - 92 の simulated tasks と 13 の physical-robot tasks - 5 カテゴリ: Task-level Refusal (T), Plan Repair (P), Execution-time Hazard (E), Injection (I), Sequential Memory (S) - 安全ハーネス LEASH (Lease-Enforced Agentic Safety Harness) を提案 - ほぼ任意の agentic architecture に統合可能と主張

2. 先行研究と比べてどこがすごい?

- 先行ベンチマークは最大でも 5 カテゴリ中 2 カテゴリしかカバーせず、text outputs のみ評価するものもある - RoboRisk は 5 カテゴリすべてをカバーし、全タスクを closed loop で実行 - 6 つの state-of-the-art foundation models (GPT-6 Astra, GPT-6.1 Sol, GPT-6 Luna, Claude Opus 5.5, Gemini 4 Argon, Grok 4.7) を評価し、高い harm rates を示した - robot-specific APIs (Dream API, PokeBot's RoboAPI) も評価 - LEASH は安全性を保ちつつタスク完了性能を大きく損なわず、時間・token の overhead も小さいと報告

3. 技術・手法の肝は?

- LEASH は decision model (Jev または OpenAI's Decisions API) を利用 - task, action, commit gates の 3 段ゲートを実装 - タスク、各アクション、各不可逆操作を visual context でレビュー - planner と 3 つの gate が共通の safety policy を共有 - 詳細なアルゴリズムや gate の実装は要旨からは不明

4. どうやって有効だと検証した?

- RoboRisk 上で simulation と physical robots の両方で実験 - 6 つの foundation models すべてで LEASH が harm を効果的に低減 - タスク完了性能を概ね維持し、時間・token overhead は小さいと報告 - 具体的な指標・数値は要旨からは不明

5. 議論はある?

- foundation models によるロボット制御の安全性リスクと、包括的な安全評価の欠如を指摘 - 評価した 6 モデルが一般に高い harm rates を示すことを報告 - LEASH の限界や失敗ケース、safety policy 設計の議論は要旨からは不明

6. 次に読むべき論文は?

- RoboRisk が比較対象とする先行 safety benchmarks(個別名は要旨からは不明) - 評価対象の foundation models: GPT-6 Astra, GPT-6.1 Sol, GPT-6 Luna, Claude Opus 5.5, Gemini 4 Argon, Grok 4.7 - robot-specific APIs: Dream API, PokeBot's RoboAPI - decision model: Jev, OpenAI's Decisions API - 関連する定番として embodied intelligence / agentic robotics の safety evaluation 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qinfeng Zhu, Weiguang Zhao, Ke Sun, Xihao Guo, Yunxi Jiang, Rui Zhang, Lei Fan, Kaizhu Huang

分類: cs.RO

原文アブストラクト

Foundation models such as GPT and Claude have shown strong capabilities in spatial understanding and embodied intelligence. These advances make agentic robotics a promising path toward artificial general intelligence in robotics. However, we find that using foundation models to control robots poses serious safety risks, and comprehensive safety evaluation is still lacking. We introduce RoboRisk, a comprehensive benchmark for evaluating safety in agentic robotics. Its 92 simulated tasks and 13 physical-robot tasks fall into five categories: Task-level Refusal (T), Plan Repair (P), Execution-time Hazard (E), Injection (I), and Sequential Memory (S). Prior benchmarks cover at most two of these categories, and several evaluate only text outputs. In contrast, RoboRisk covers all five and executes every task in closed loop. We evaluate six state-of-the-art foundation models on RoboRisk: GPT-6 Astra, GPT-6.1 Sol, GPT-6 Luna, Claude Opus 5.5, Gemini 4 Argon, and Grok 4.7. These models generally show high harm rates. We also evaluate two robot-specific APIs: the Dream API and PokeBot's RoboAPI. We further propose the Lease-Enforced Agentic Safety Harness (LEASH), which offers essential safety infrastructure for agentic robotics and can be integrated into nearly any agentic architecture. LEASH leverages a decision model (Jev or OpenAI's Decisions API) to implement task, action, and commit gates, which review the task, each action, and each irreversible operation in their visual context. The planner and all three gates share a common safety policy. Experiments on RoboRisk in simulation and on physical robots show that LEASH effectively reduces harm across all six foundation models. It largely preserves their task completion performance and adds little time and token overhead.

関連論文

  1. 1パナソニックHDら、ロボット操作AI「T-Rex」を共同開発 12タスクで平均成功率65%研究・技術
  2. 2Hugging Face、ロボット学習基盤「LeRobot v0.7.0」を公開 対話操作と大規模データ学習に対応新製品・発表
  3. 3NVIDIA、Vera CPUのエージェント処理性能を公表 x86比で速度・電力効率を比較半導体・GPU
  4. 4Agility、SPAC合併でナスダック上場資金調達
  5. 5AGIBOTのG2 6台、上海のコンビニで24時間試験 1,730タスクを実施量産・展開
PR本紙発行元 EmplifAI