LIBERO-Pro2.0、分布シフト下の頑健性を測るベンチマークを公開

何が起きたか

arXivは2026-10-17付で、ロボット操作ポリシーの頑健性を評価するベンチマーク「LIBERO-Pro2.0」を公開した。静的摂動22種と実行時介入20種を組み合わせ、6つの次元で1,648件の検証済みシフトタスクを用意した。 このベンチマークは、Condition、Environment、Observation、Execution、Robot State Configuration、Languageの6次元で条件を変える設計である。あわせて、モデル生成と人間デモンストレーションにより39,390本の訓練軌跡を収集した。

詳細

LIBERO-Pro2.0は、分布シフトを体系的に評価する目的で設計された。22の静的摂動と20の実行時介入を含み、1,648件のシフトタスクは6回の反復的な人手レビューと修正を経て、物理的妥当性とタスク妥当性を確認したとしている。 評価対象は、視覚・言語・行動モデル、world-action models、頑健性志向ポリシーを含む17の代表的なロボットポリシーである。結果として、実行時の分布シフト下では平均26.5ポイントの性能低下が確認され、個別には32.5ポイントの低下もあった。

Key Facts

本紙の見方

LIBERO-Pro2.0の新規性は、ロボット操作モデルの性能を「ベンチマークで高いか」ではなく、「条件を崩したときにどれだけ崩れるか」で測る点にある。22の静的摂動と20の実行時介入、さらに6次元の変化を組み合わせた設計は、単一の環境に最適化した挙動を見分ける狙いが明確だ。一方で、39,390本の訓練軌跡を集めたことは、評価だけでなく頑健性向け学習まで視野に入れた構成であり、ベンチマークがそのまま学習データ基盤にもなっている。 この点は、既存のLIBEROが広く使われる一方で、強いスコアが必ずしも実運用の頑健性を意味しないという問題提起とつながる。今回の発表は、その弱点を抽象論ではなく、1,648件のシフトタスクと17の代表的ポリシーで定量化した点に意味がある。とくに、視覚・言語・行動モデル、world-action models、頑健性志向ポリシーを同じ枠組みで比較しているため、モデル系統ごとの得手不得手を見分ける基準になりやすい。 業界構造への含意は、ロボットの性能競争が「平均スコア」から「分布シフト耐性」へ移りつつある点にある。ConditionやEnvironmentだけでなく、Robot State ConfigurationやLanguageまで崩す設計は、実機導入時に起こる入力の不確実性を広く含むため、評価の基準そのものを変える可能性がある。もっとも、現時点で見えるのは評価基盤であって、どの学習法やアーキテクチャが一貫して有利か、また実機運用でどの条件が最も性能を落とすかは、まだ切り分けが必要だ。 次に確認すべき論点は、39,390本の訓練軌跡がどの程度、頑健性改善に効くのか、17モデルの内訳ごとにどの種類のシフトで差が出るのか、そして6次元のうち実運用で支配的な失敗要因がどこにあるかである。

なぜ重要か

発表元のarXivによると、実行時の分布シフト下で平均26.5ポイント、最大32.5ポイントの性能低下が出た。ロボット操作の評価が、通常条件の成功率だけでは足りないことを数値で示した点に意味がある。 Condition、Environment、Observation、Execution、Robot State Configuration、Languageの6次元を崩す設計は、実機導入時の不確実性をより広く含む評価軸として使える可能性がある。

日本への影響

日本のロボット研究や実機導入では、平均性能だけでなく分布シフト耐性を測る評価基盤が必要になるとみられる。とくに、操作条件・環境・言語指示まで含めた6次元の評価は、現場での再現性や安全性を詰める際の基準になり得る。