RESCUE: その警報は介入に値するか？VLAランタイムモニタの反事実評価

- VLA (Vision-Language-Action) ポリシー向けの runtime failure monitor を、アラームの精度ではなく『介入の有用性』で評価する枠組み RESCUE を提案。 - simulator と policy の状態を実行 checkpoint で復元し、代替行動を比較する counterfactual 評価。 - 指定した recovery criterion を満たす最新 checkpoint を特定し、アラームに従うことで期待 task-completion cost が下がるかを評価。 - OpenVLA-OFT と π_{0.5} を LIBERO-Spatial と LIBERO-Plus で、128,340 の counterfactual branch を用いて評価。

- 従来の runtime failure monitor は failed/successful の識別精度で評価されることが多い。 - しかし正確なアラームでも recovery に間に合わない場合や、不要な介入が成功する実行を妨げる場合がある。 - RESCUE は『アラームが有用な介入を可能にするか』という観点で評価する点が新しい。 - 検出スコアが良くても介入コストが下がるとは限らないことを示す。

- simulator と policy の状態を実行 checkpoint で復元し、counterfactual branch を生成。 - 代替行動を比較し、指定した recovery criterion を満たす最新 checkpoint を特定。 - アラームに従うことで期待 task-completion cost が減少するかを評価。 - stop-and-reset モデルの下で、理想的な detector でも許容できる false-alarm rate を算出。

- OpenVLA-OFT と π_{0.5} を LIBERO-Spatial と LIBERO-Plus で評価。 - 128,340 の counterfactual branch を使用。 - τ=0.5 で、OpenVLA-OFT/LIBERO-Plus の 66 失敗中 14 が continuation 下で recoverable checkpoint を含み、continuation または scripted recovery 下では 34 が含む。 - 一部条件では recovery が recoverability を低下させる。 - 主要な strong-policy 条件では、良好な detection score が低い intervention cost を保証しない。 - stop-and-reset モデル下では、理想的な detector でも false-alarm rate が 2.0–3.3% を超えると不要な reset が早期停止の節約を上回る。

- recoverability は robot state だけでなく state–intervention pair に依存する。 - monitor の価値は利用可能な介入と展開される workload に共同で依存する。 - 検出精度と介入コストの乖離が示され、評価指標の再考を促す。 - 要旨からは、他の intervention model や実機での検証については不明。

- OpenVLA-OFT - π_{0.5} - LIBERO-Spatial - LIBERO-Plus - runtime failure monitor - counterfactual evaluation - stop-and-reset model