CAPSafe：具現化エージェントの文脈的行動・計画安全推論ベンチマーク

- 本論文は、LLM を搭載した embodied agents の安全推論を評価する新 benchmark「CAPSafe（Contextual Action and Plan Safety benchmark）」を提案する。 - 2 階層の評価を設計。 - action-level dataset：環境文脈を踏まえ、単一 action が安全かを判定。 - plan-level dataset：複雑で危険な household tasks に対し、安全な long-horizon plan を生成できるかを評価。 - 危険を状況依存（object properties から推測）として扱い、同一環境内での複数 hazard の共起、severity level の注釈による細粒度分析を特徴とする。 - closed / open-source の LLM 9 モデルを評価。

- 先行研究との具体的比較は要旨からは不明。 - 既存 benchmark との差分として明示されるのは以下。 - action 単位の安全性判定と long-horizon plan の安全性生成を同一 benchmark で二層評価。 - hazard を静的なものではなく、object properties から推測される状況依存のものとして扱う。 - 複数 hazard の共起と severity level の注釈を備える。 - これにより hazard 認識と安全な計画立案のギャップを測れる点が主張の中心。

- CAPSafe の構成が肝。 - action-level dataset：環境文脈付きで単一 action の安全/不安全を判定させる。 - plan-level dataset：危険な household tasks に対し安全な long-horizon plan を生成させる。 - hazard は状況依存（object properties から推論）として定義。 - 同一環境で複数 hazard が共起し得る設定をモデル化。 - 各 hazard に相対的 severity level を注釈し、fine-grained な分析を可能にする。 - 評価は closed / open-source の LLM 9 モデルに対して実施。

- LLM 9 モデル（closed / open-source）を CAPSafe 上で評価。 - action-level では不安全 action の認識精度が高く、最良ケースで 90% 超。 - plan-level では安全な long-horizon planning が大幅に難しく、Gemini-3-pro が最高 safe success rate 78.19%、他モデルは 65% 未満。 - この差により、hazard 認識と安全な長期計画の間に大きなギャップがあることを示した。

- 主な示唆は、hazard 認識が高精度でも安全な long-horizon planning は依然として難しく、未解決課題であるという点。 - 単一 action の安全性判定だけでは embodied agents の安全を保証できず、長い action 列に対する robust な safety reasoning が必要と議論。 - severity level 付き注釈により fine-grained 分析が可能。 - 具体的な限界・失敗要因・倫理的含意は要旨からは不明。

- 要旨で参照・比較されている個別研究は明記されていない。 - 関連手法として、CAPSafe 内で評価された LLM 群（Gemini-3-pro など）や、embodied agents 向けの safety benchmark / long-horizon planning 研究を次に読む候補として挙げる。 - 具体的な論文名は要旨からは不明。