LIBERO-RIG：視覚言語行動モデルのためのハードウェア設定ロバスト性ベンチマーク

- LIBERO-RIGは、Vision-Language-Action (VLA) モデル向けのハードウェア・セットアップ頑健性ベンチマーク。 - LIBEROのタスクは固定し、ロボットのハードウェアとセットアップのみを摂動させる。 - 11の摂動軸（カメラマウント・光学、カメラ-アーム間キャリブレーション、アクチュエーションゲイン、制御レート、固有受容ノイズ、ベース姿勢、テーブル高さ、グリッパパッドなど）を設定。 - 各軸に5段階の深刻度があり、4つのLIBEROスイートで210条件を生成。 - 9つの最近のVLAモデルを各条件500エピソードで評価し、統計的検定を実施。 - ベンチマークと各エピソードの固定摂動パラメータを記したマニフェストを公開。

- 従来のVLA評価は視覚的摂動やタスク変化に焦点を当てがちだが、本ベンチマークはロボットのハードウェアとセットアップのみを摂動させる点が新しい。 - LIBEROタスクを固定することで、ハードウェア起因の性能低下を分離して評価できる。 - 11軸×5深刻度の体系的な摂動設計と、各条件500エピソード・統計的検定を組み合わせた厳密な評価は先行研究にない。 - 視覚的摂動での訓練が、カメラ画像を変えない故障（キャリブレーションずれ等）を緩和しないことを示した点も先行研究との差異。

- LIBEROの4スイートのタスクを固定し、ロボットのハードウェア・セットアップのみを摂動。 - 11の摂動軸（カメラマウント・光学、カメラ-アーム間キャリブレーション、アクチュエーションゲイン、制御レート、固有受容ノイズ、ベース姿勢、テーブル高さ、グリッパパッドなど）を定義。 - 各軸に5段階の深刻度を設け、合計210条件を生成。 - 各条件で500エピソードを実行し、9つのVLAモデルを評価。 - 結果を統計的検定で裏付け、エピソードごとの固定摂動パラメータを記したマニフェストを公開。

- 9つの最近のVLAモデルを、4つのLIBEROスイートにわたる210条件で評価。 - 各条件500エピソードを実行し、統計的検定で各知見を裏付け。 - プール成功率が中程度の深刻度で0.932から0.767、最高深刻度で0.509に低下することを確認。 - 摂動軸やアクションインターフェース間で性能低下が大きく異なることを示した。 - 視覚的摂動での訓練が、カメラ画像を変えない故障を緩和しないことを検証。

- 性能低下は摂動軸やアクションインターフェースによって大きく異なる。 - 視覚的摂動での訓練は、カメラ画像を変えない故障（キャリブレーションずれ、制御レート変化等）には効果がない。 - ハードウェア・セットアップの頑健性評価の重要性を示唆。 - 具体的な議論や限界については要旨からは不明。

- 要旨で参照・比較されている個別の研究は明記されていない。 - 関連手法として、LIBEROベンチマーク、Vision-Language-Action (VLA) モデル、視覚的摂動によるデータ拡張・訓練が挙げられる。 - 同分野の定番として、ロボット政策の汎化・頑健性評価に関するベンチマーク研究を参照すべき。