模倣学習におけるデモンストレーション忘却の再考：ロボット工学の視点から

本論文は、ロボティクスにおける模倣学習（Imitation Learning）で訓練されたポリシーから、特定の人間のデモンストレーションの影響を除去する「demonstration unlearning」を再考する。従来の機械学習のunlearning指標（忘却損失や単一のメンバーシップ攻撃）では、閉ループで動作するポリシーから何が除去されたかを正しく評価できないと指摘し、再訓練（retrain）を基準にした監査（retrain-calibrated audit）を提案する。行動（behavior）と証拠（evidence）の2軸で評価し、編集されたポリシーが除去デモなしで再訓練したポリシーとどれだけ一致するか、また監査者が訓練データに含まれていたことを検出できるかを測る。

先行研究の機械学習unlearningの指標（forgetting lossや単一のmembership attack）は、閉ループで動作するロボットポリシーに対して有効性を確立できない。本手法は、再訓練ポリシーを基準にした較正（retrain-calibrated）を導入し、独立した再訓練のばらつきを考慮したフロア（floor）を設定することで、編集ポリシーが再訓練ポリシーにどれだけ近いかを公平に評価する。また、メンバーシップ攻撃のランクだけでなく、絶対的なmember-lossレベルも報告することで、ランクだけでは見逃す攻撃者の操作を防ぐ。さらに、conformal testを用いて複数の再訓練ポリシーに対する同時仮説検定を行い、統計的有意性を確保する点が新しい。

手法の核は、retrain-calibrated auditである。行動軸では、編集ポリシーと再訓練ポリシーの行動の乖離（action divergence）を、マッチした状態で測定し、独立した再訓練間の乖離で較正する（フロアを設定）。証拠軸では、デモごとのメンバーシップ攻撃を再訓練の帰無分布に対して適用し、ランクと絶対的なmember-lossレベルを報告する。そして、conformal testを用いて、複数の独立した再訓練ポリシーに対する同時仮説検定（joint retrain consistency）を行い、編集ポリシーが再訓練と一致するかを検証する。

5つの事前登録条件（preregistered conditions）で、3つの実ロボットポリシークラスと2つのシミュレーションスイートを用いて検証した。その結果、軸が双方向に解離することを確認した（例：編集がタスク行動を修復するが証拠は不変、または証拠を減らすが行動が再訓練から遠ざかる）。ACT（Action Chunking with Transformers）アームでは、リダイレクト編集により、ブラインドスコアのロボット成功率が20試行中18に回復した。

要旨からは、提案する監査手法の有効性は示されたが、計算コストや実用性に関する議論は不明。また、5つの条件で軸の解離が観察されたが、その原因や一般化可能性についての詳細な議論は要旨に含まれていない。さらに、conformal testの統計的検出力や、大規模なポリシーへの適用可能性については言及がない。

要旨で参照されている関連研究として、機械学習のunlearning（machine unlearning）の手法、模倣学習（imitation learning）の基礎、membership attackの手法が挙げられる。具体的には、SISA（Sharded, Isolated, Sliced, Aggregated）トレーニングや、メンバーシップ推論攻撃（membership inference attacks）に関する論文が関連する。また、ロボットポリシーの編集手法（policy editing）や、閉ループ評価（closed-loop evaluation）に関する研究も次に読むべきであろう。