模倣学習4手法を実機検証、検証誤差と成功率の関係を分析

何が起きたか

2026年10月30日掲載の論文は、12〜200件の実演データで学習したACT、Diffusion Policy、SmolVLA、π_{0.5}（action expert only）を、SO-101アームのピック・アンド・プレース課題で比較した。82チェックポイントを25件のホールドアウト実演で評価し、930回の実機ロールアウトと照合した。ホールドアウト時の行動誤差はポリシー内では実機成功率と相関したが、異なるポリシー間では順位が逆転する例があり、論文は実機評価を代替できないと結論づけた。

詳細

対象は、12〜200件の実演データを段階的に用いた4種類の模倣学習ポリシーである。論文は、82チェックポイントについて学習損失と、ポリシーが出力する行動の誤差を25件のホールドアウト実演で評価し、930回の実機ロールアウトと比較した。さらに70回の学習実行に含まれる中間チェックポイント700件も評価し、正面カメラ映像から全ての学習・ホールドアウト・実機エピソードのボール位置を復元した。 ポリシー内でのホールドアウト行動誤差と実機成功率の相関はSpearman ρ=-0.23〜-0.88だったが、同一データで学習したシード間では相関しなかった。200件の実演データを使ったポリシー間比較では順位が逆転し、ホールドアウト誤差が最小のポリシーは110回中3回しか成功しなかった。腕が休止姿勢から動き出さない失敗は、未トリミングの実演で学習したDiffusion Policyのロールアウトの96%、SmolVLAの47%を占めた。拡散・フローマッチング方式では、学習中にホールドアウト損失が2〜5倍に上昇する一方、ホールドアウト行動誤差は最大29%低下した。

Key Facts

本紙の見方

この研究の要点は、検証指標の有用性が評価の比較単位によって変わることにある。12〜200件の実演データで学習した4手法を対象に、ポリシー内ではホールドアウト行動誤差と実機成功率に負の相関が出た一方、同じデータで学習したシード間では相関がなかった。したがって「検証誤差が下がれば実機成功率も上がる」という単一の選択規則は、この実験の範囲でも成立しない。特にポリシーをまたいだ比較では、200件の実演を用いた条件で指標の順位と実機成功の順位が逆転し、最小誤差のポリシーが110回中3回しか成功しなかった。モデル間の数値を横並びにして採用判断する場合、オフライン指標が異なる挙動を見落とす可能性を示す結果である。 もう一つの含意は、実演データ上で再現できる誤差と、実機で行動を開始できるかどうかが別の評価対象だという点だ。腕が休止姿勢から動かない失敗は、未トリミング実演で学習したDiffusion Policyのロールアウトの96%、SmolVLAの47%を占めたが、実演を基にしたホールドアウト集合では起きない失敗だと論文は指摘する。ホールドアウト上の動作誤差が、開始に失敗したロールアウトを含む総合成功率を十分に表さない理由がここにある。一方、腕が動いたロールアウトに限ると、SmolVLAでは行動誤差が成功率をよく予測し、ρ=-0.81だった。開始可否と開始後の遂行を分ける評価設計は、モデルの能力差を特定するうえで重要になる。 学習曲線の読み方にも注意が要る。拡散・フローマッチング方式では、学習中にホールドアウト損失が2〜5倍に増えた一方、行動誤差は最大29%低下した。損失と実機に近い出力誤差が同じ方向に動かないため、どの指標をチェックポイント選択に使うかは手法ごとに検証する必要がある。論文は、ホールドアウト指標を学習状況の診断には有効としつつ、実機評価の代替とはしないよう提案し、開始失敗率と開始後の成功率を別々に報告することを推奨した。 ただし、観測された関係はSO-101アーム上のピック・アンド・プレース課題と、ここで比較された4手法・データ条件に基づく。別のタスクやロボットでも同じ相関になるかは、この結果からは判断できない。今後確認すべきなのは、開始失敗を含む実機評価を他の課題やデータ構成でも行った場合の再現性、そして学習時のデータ処理が開始可否にどう関係するかである。モデル選定では、ホールドアウト誤差だけでなく、実機で動作を開始した割合と開始後の成功率を併記できるかが焦点となる。

なぜ重要か

この実験では、ホールドアウト行動誤差がポリシー内の実機成功率とは相関しても、シード間やポリシー間の比較では同じ関係が成り立たなかった。実機導入の可否を判断する開発者にとって、検証指標だけでチェックポイントや手法を選ぶのではなく、開始失敗と開始後の成功を分けた実機評価を併用する必要性を示す結果である。