GUARD: 異常検知に基づくQ誘導で生成ロボット方策を巧みな操作へ導く手法

- 拡散モデルや flow matching に基づく生成的なロボット政策は複雑で多峰的な行動をモデル化できるが、closed-loop 実行時の covariate shift に弱い。 - 本論文は GUARD を提案する。これは anomaly-informed な Q-steering フレームワークで、政策の training distribution から密な failure-anticipatory な steering signal を構築する。 - 対象は dexterous manipulation であり、sparse task rewards と anomaly scores を組み合わせて政策を誘導する。

- 既存の失敗緩和策は追加 demonstrations、policy fine-tuning、test-time guidance などだが、人手介入・engineered rewards・タスク固有信号を要することが多い。 - GUARD は pretrained policy を直接変更せず、政策の training data から学習した anomaly score を supervision として利用する点が異なる。 - 4つの Adroit dexterous manipulation タスクで nominal 96.0%、perturbed dynamics 80.0% の平均成功率を達成し、最強 baseline をそれぞれ 21.0、20.0 percentage points 上回った。

- 政策の training distribution から dense な anomaly score を学習し、sparse task reward と組み合わせる。 - 両者を learned Q-function を通して伝播させ、その gradients で denoising process を誘導する。 - 誘導先は task return を改善しつつ、poorly supported regions への軌道侵入を防ぐ行動であり、pretrained policy 自体は直接変更しない。

- 4つの Adroit dexterous manipulation タスクで評価し、nominal で平均 96.0%、perturbed dynamics で 80.0% の成功率を報告。 - 最強 baseline に対し nominal で 21.0、perturbed で 20.0 percentage points 上回り、anomaly score も最小だった。 - in-hand screwdriver rotation と reorientation タスクで direct sim-to-real transfer を実証し、成功率がそれぞれ 40、25 percentage points 向上した。

- anomaly signals は failure monitoring だけでなく、sparse task rewards を補完する robust policy steering の supervision として有効であると主張。 - 限界や失敗事例、計算コスト、他タスクへの一般化については要旨からは不明。 - 比較対象の baseline の詳細や perturbed dynamics の設定も要旨からは不明。

- 要旨で参照・比較されている具体的な先行研究名は不明。 - 関連手法として diffusion policy、flow matching、test-time guidance、Q-learning 系の steering を挙げて読むのが妥当。 - Adroit dexterous manipulation の benchmark 論文や sim-to-real 転移の研究も併読候補。