ロボット自律性/LLM検証2026/8/10arXiv:2608.09857v1

エージェント型ハーネス：ロボット自律性のためのLLM駆動検証層

Agentic Harnesses: LLM-Driven Verification Layers for Robot Autonomy

ロボットの計画と実行の間にLLMを検証層として挿入し、行動の許可性を評価して安全でない計画を拒否・再構成・人間レビューに回すシステムを提案した。

詳しい要約

1. どんなもの？

本論文は、ロボットの自律性における計画モジュールと実行の間に、LLM駆動の検証レイヤーを提案する。このレイヤーは、計画の実行可能性や安全性を検証し、アクションの許容性を評価する。具体的には、LLM-as-a-Judgeアンサンブルを用いて、複数のモデルによるchain-of-thought推論を合成し、計画を承認・拒否・人間のレビューへのエスカレーションのいずれかに分類する。このレイヤーはミドルウェアとして機能し、計画がロボットの低レベル制御に到達する前にゲートする。

2. 先行研究と比べてどこがすごい？

先行研究では、ロボット自律システムの開発は実行に焦点を当てており、計画モデルが提案するアクションの実現可能性の検証はあまり注目されていなかった。また、一般的なLLMと同様に、ロボット計画モデルはユーザー指定の目標に偏り、科学的倫理に反するアクションを提案する可能性や、過去の安全リスクを記憶できないことによる安全性の欠如、自律エコシステムへの敵対的攻撃に対する脆弱性などのリスクがある。本研究は、計画と実行の間に検証レイヤーを導入することで、これらのリスクに対処する点が新しい。

3. 技術・手法の肝は？

手法の核は、LLM-as-a-Judgeアンサンブルである。複数のLLMがchain-of-thought推論を用いて各計画の許容性を評価し、その出力を合成する。これは、mixture of expertsとself-consistencyアプローチの組み合わせに類似している。このレイヤーは、サーバーの計画モジュールからの計画を、MCPサーバーを介してロボットの低レベル制御に渡す前にゲートする。計画は承認、拒否（再定式化のため）、または人間のレビューへのエスカレーションに分類される。

4. どうやって有効だと検証した？

提案システムを検証するために、accept/escalate/rejectカテゴリ全体で約85%の精度を達成し、敵対的攻撃の97%を封じ込めた。また、受け入れと拒否の間のエラーは無視できる程度であり、エラーは主にエスカレーション境界で発生した。

5. 議論はある？

要旨からは、提案手法の限界や潜在的な欠点についての議論は不明である。ただし、エラーがエスカレーション境界で発生することが示されており、この境界の分類精度が課題となる可能性が示唆される。また、LLM-as-a-Judgeアンサンブルの計算コストや、人間のレビューへの依存度などが実用上の懸念となるかもしれないが、要旨には明記されていない。

6. 次に読むべき論文は？

要旨で参照されている関連研究は明示されていないが、LLM-as-a-Judge、chain-of-thought reasoning、mixture of experts、self-consistency、MCPサーバー、敵対的攻撃に関する研究が関連する。次に読むべき論文としては、これらの手法の基礎となる研究や、ロボット計画の安全性検証に関する研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rohan Bhagra, Mahantesh Halapannavar, Uddhav Bhattarai

分類: cs.RO, cs.AI

原文アブストラクト

Advances in advanced artificial intelligence tools have sparked research in robot autonomy, but the development of such systems has largely focused on execution rather than verifying the feasibility actions planning models propose. Like general-purpose LLMs, robotics planning models carry risks: biased toward user-specified goals, they may suggest actions misaligned with scientific ethics, they may be unsafe due to an inability to "remember" prior safety risks, or they may be vulnerable to adversarial attacks on the autonomy ecosystem. We propose a LLM-driven verification layer between planning and execution to evaluate action permissibility. Our LLM-as-a-Judge ensemble combines chain-of-thought reasoning across models and synthesizes those expert judge outputs, mirroring a combination of a mixture of experts and self-consistency approach. This layer serves as middleware, gating plans from the server's planning module before they reach the MCP server and therefore the robot's low-level controls: plans are approved, rejected for reformulation, or escalated for human review. With this system, we achieve near 85% precision across accept/escalate/reject categories 97% containment of adversarial attacks, with negligible errors between accepting and rejecting tasks, and errors mostly manifesting at the escalate boundary.

arXivで原文を読む →arXiv概要ページ

← 論文一覧