CuraEval: 混合スキルロボットデータにおけるデモンストレーション選別の評価

- 混合スキルのロボット実演データにおける「実演の選別（demonstration curation）」を評価するフレームワーク CuraEval の提案。 - robomimic の混合スキルデータを用い、Diffusion Policy と BC-RNN で検証。 - 既存の選別スコアを数理的に分析し、固定サイズでマッチさせたランダム部分集合や全データ訓練との統制比較を行う。 - コード公開あり（https://github.com/jiuyixu25/CuraEval）。

- 既存手法は smoothness・diversity・policy 性能への推定 influence などで実演をスコア化するが、選別・評価プロトコルの違いから単純ベースラインを上回るか判断しづらかった。 - CuraEval は数理解析と、サイズを揃えたランダム部分集合・全データ訓練との統制比較を組み合わせる点が新しい。 - 評価対象の PSD スコアが実質的に episode 長と位置の二乗ノルムに依存することを示した点も貢献。

- 実演スコアの数理解析：PSD スコアが episode 長と squared position magnitudes のみに依存することを導出。 - 選別条件を、固定サイズでマッチさせたランダム部分集合および full-data training と比較する統制プロトコル。 - Diffusion Policy と BC-RNN を robomimic の混合スキルデータ（square, can 等）で訓練。 - 保持率（25%, 50%, 75% など）を変え、length-based selection や geometric-entropy LOO selector を評価。

- square で PSD スコアの順位が episode 長とほぼ一致（ρ=0.999）することを確認。 - Diffusion Policy で最短 50% 選択が square の成功率を random selection の 70.7% から 76.5% へ改善。 - geometric-entropy LOO selector は can の 25% 保持で random の 94.7% を 74.0% に低下、square では 41.7% で 3 つのランダム部分集合の平均（59.8–62.5%）を下回った。 - square の 3 訓練 seed で、75% 保持の length-based selection は元プロトコルで full-data の 76.7% を 86.7% に改善するが、checkpoint reporting・rollout 数・評価 seed を同時変更すると 80.5% から 79.5% に低下。 - Holm 補正後、評価した選別条件はいずれも full-data training を有意に上回らなかった。

- 単純な episode 長ベースの選別が有効に見える場合があるが、評価プロトコルの変更（checkpoint reporting, rollout count, evaluation seed）で結論が変わり得る。 - 適応した geometric-entropy LOO selector は random selection を下回る場合があり、選別手法の優位性は限定的。 - Holm 補正後は有意な改善がなく、信頼区間は有用な利得の可能性を排除しないが、現時点で curated condition が full-data を明確に上回る証拠は弱い。 - 評価プロトコルの標準化と、混合スキルデータにおける選別の限界について議論の余地がある。

- 要旨で参照・比較されている手法：PSD score、geometric-entropy LOO selector、length-based selection、random selection、full-data training。 - 関連手法：Diffusion Policy、BC-RNN、robomimic。 - 選別スコアの関連研究として smoothness・diversity・influence-based demonstration selection の各手法。 - 評価プロトコル標準化の観点から、imitation learning のベンチマーク評価に関する研究。