VLA2026/9/14arXiv:2609.15940

単軸テストを超えて：視覚言語行動ポリシーにおける複合ロバスト性のペア評価

Beyond Single-Axis Testing: Paired Evaluation of Compound Robustness in Vision-Language-Action Policies

VLAポリシーのロバスト性評価において、単一の摂動だけでなく複数の摂動が同時に起こる複合条件での性能をペアで比較するベンチマークLIBERO-CTRLを提案し、単軸評価では見えない創発的失敗と補償的成功を明らかにした。

詳しい要約

1. どんなもの？

Vision-language-action policiesの複合的なロバスト性を評価する研究。 - 従来は単一軸の摂動ごとに評価していたが、実世界では複数の分布シフトが同時に起こる。 - 単一軸評価から複合ロバスト性を推測できるかを問う。 - LIBERO-CTRLという6軸ベンチマークを導入。 - 各初期状態を単一軸条件と同時条件でペアにして評価する。

2. 先行研究と比べてどこがすごい？

従来の単一軸評価では見えない現象を明らかにする点が新しい。 - 集約成功率では区別できない2つの相反する結果変化を明示。 - emergent failures: 単一軸では全て成功するが同時条件で失敗。 - compensated successes: 少なくとも1つの単一軸で失敗するが同時条件で成功。 - これらが相殺し、集約指標では単一軸と一致して見えることを示す。

3. 技術・手法の肝は？

LIBERO-CTRLベンチマークの設計が肝。 - 6軸の摂動を用意し、各初期状態を単一軸条件と同時条件でペアにする。 - ペアごとの結果変化を追跡することで、集約では見えない遷移を検出。 - 6つのpolicyと3つのseverity levelで評価。 - 確率的policyの独立再評価でも遷移率が同様であることを確認。

4. どうやって有効だと検証した？

6つのpolicyと3つのseverity levelで実験。 - 最も影響の大きい条件で結果変化が34.5%に達する。 - 2つの遷移率の差が統計的にゼロと区別できない場合でも、最大29.0%の初期状態で結果が変化。 - 遷移の相対的な頻度はpolicyやseverityによって異なる。 - 確率的policyの独立再評価でも遷移率が類似。

5. 議論はある？

複合ロバスト性は集約的な単一軸成功率だけでは特徴づけられないと主張。 - ペアごとのインスタンス評価が必要。 - 相反する遷移が相殺するため、集約指標は個々の結果変化を隠蔽する。 - 遷移の相対頻度はpolicyやseverityに依存する。 - 確率的policyの再評価でも遷移率が同様である点を議論。

6. 次に読むべき論文は？

要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、Vision-Language-Action policiesのロバスト性評価やLIBEROベンチマーク関連の研究が挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hiroki Sawada, Shunichi Kasahara

分類: cs.RO

原文アブストラクト

Vision-language-action policies are typically evaluated one perturbation at a time, providing a useful diagnosis of their sensitivity to individual distribution shifts. Real-world deployment, however, may involve several shifts simultaneously, and it remains unclear how these individual robustness measurements compose. We ask whether compound robustness can be inferred from single-axis evaluations. We introduce LIBERO-CTRL, a six-axis benchmark that pairs each initial state across single-axis conditions and a matched simultaneous condition. This design reveals two opposing outcome changes that aggregate success rates cannot distinguish: emergent failures, where all single-axis rollouts succeed but the simultaneous rollout fails, and compensated successes, where at least one single-axis rollout fails but the simultaneous rollout succeeds. Because one transition decreases compound success while the other increases it, they can cancel, making aggregate compound performance appear consistent with single-axis measurements even when individual outcomes differ substantially. These opposing transitions can largely cancel in aggregate: even when the difference between the two transition rates is not statistically distinguishable from zero, as many as 29.0% of matched initial states still change outcome. Across six policies and three severity levels, such outcome changes reach 34.5% in the most affected condition. The relative prevalence of the two transitions varies across policies and severities, while the transition rates remain similar under independent re-evaluation of stochastic policies. Compound robustness therefore cannot be characterized from aggregate single-axis success rates alone; matched per-instance evaluation is needed to reveal how joint perturbations alter behavior.

arXivで原文を読む →arXiv概要ページ