MANIGUARD: 仕様に基づく安全性評価とロボット操作改善のためのベンチマークとデータセット

ManiGuardは、ロボット操作における基盤モデルポリシーの安全性を仕様に基づいて評価・改善するためのフレームワークである。ManiGuard-Benchタスクスイートと、安全性アノテーション付き軌道生成パイプラインから構成される。6つの接触を伴う家庭タスクファミリを、スキル×制約の分類法に沿って200のベースタスクに整理し、安全性はタスク成功とは独立に指定される。各タスクは、1つのin-distributionと4つのsingle-axis out-of-distribution摂動（安全性仕様は固定）で評価され、合計1,000のロックされたシナリオを提供する。各ロールアウトは、学習ベースの分類器やLLM判定ではなく、物理に基づく述語上のLTL_fに基づくオートマトンモニタによって実行時チェックされる。シミュレーションと実機Frankaプラットフォームの両方で検証される。パイプラインは、自動動作計画生成器と人間のテレオペレーションを組み合わせ、同じステップごとのモニタでアノテーションし、安全性を考慮したファインチューニングを直接サポートする。8,000の安全性アノテーション付きデモ…

先行研究では、ロボット操作の基盤モデルポリシーはタスク成功率で評価されることが多く、安全性の厳密な評価が欠けていた。ManiGuardは、安全性をタスク成功から独立に指定し、LTL_fに基づくオートマトンモニタを用いて物理に基づく述語で実行時チェックする点で、学習ベースの分類器やLLM判定に依存する既存の安全性評価手法よりも信頼性が高い。また、安全性アノテーション付きの大規模データセット（8,000デモ）を提供し、安全性を考慮したファインチューニングを直接サポートする点で、安全性改善のためのデータ基盤を提供する。

技術の肝は、安全性仕様をタスク成功から独立に定義し、LTL_f（Linear Temporal Logic on Finite Traces）に基づくオートマトンモニタを物理に基づく述語（例：接触力、位置）上で実行時チェックすることである。これにより、学習ベースの分類器やLLM判定に頼らず、解釈可能で検証可能な安全性監視を実現する。また、自動動作計画生成器と人間のテレオペレーションを組み合わせた軌道生成パイプラインにより、安全性アノテーション付きデモを効率的に収集し、安全性を考慮したファインチューニングを可能にする。

有効性は、ゼロショットおよびファインチューニングされたVLA（Vision-Language-Action）モデルを、23,000以上のロールアウトでベンチマークすることで検証した。その結果、(i) 成功したロールアウトの6-21%が安全性仕様に違反すること、(ii) ファインチューニングにより安全なタスク完了率がほぼゼロから7.5-29.8%に向上し、関与かつ安全な行動が16-40%から51-72%に向上すること、(iii) しかし、デモのスケーリングでは閉じないギャップが残り、関与したロールアウトの21-42%が依然として違反し、6つのファミリのうち2つはすべてのポリシーで安全成功率が2%未満であり、これらの失敗は分布シフトやハードウェアでも持続することを示した。

議論としては、安全性評価をタスク成功から独立に行うことの重要性が示されたが、デモのスケーリングだけでは安全性ギャップを閉じられないことが明らかになった。特に、一部のタスクファミリでは安全成功率が極めて低く、分布シフトや実機でも失敗が持続するため、現在のファインチューニング手法では不十分である可能性がある。また、LTL_fモニタの設計や物理述語の選択が安全性評価の厳密性に影響するため、その一般化可能性についてさらなる検討が必要である。

要旨で参照されている関連研究としては、VLA（Vision-Language-Action）モデル、LTL_f（Linear Temporal Logic on Finite Traces）、および安全性を考慮したロボット学習の既存研究が挙げられる。具体的には、基盤モデルポリシーの安全性評価に関する研究や、仕様に基づくロボット制御の研究を読むことが推奨される。