模倣学習の摂動耐性を高める正則化手法、実機の平均成功率を18％から57％に改善

何が起きたか

arXivに2026年11月12日掲載の論文は、模倣学習のポリシーに摂動への一貫した応答を促す正則化手法「InneR」を提案した。実機アームによる3つの操作タスクでは、拡散ポリシーの平均成功率が18％から57％に上昇し、追加データは使わなかったと報告している。

詳細

InneRは、ポリシーのヤコビアンを介して行動空間の内積から状態空間の内積を定める。内積の向きがそろった状態をクラスタリングし、クラスタ内の内積を平均したうえで、その平均の最小固有値を小さくすることで、近傍状態が共通の零空間を持つようにポリシーを調整する。確率的ポリシーでは、この状態空間の内積はフィッシャー情報に対応すると論文は説明する。 手法は決定論的・確率的ポリシーの双方に適用でき、既存の模倣学習パイプラインに追加できるとしている。シミュレーションでは、無関係な状態次元や訓練・テスト間の分布シフトへの頑健性が高まった一方、ノルム罰則は行動クローニングより悪い結果になる場合があった。

Key Facts

本紙の見方

この研究の技術的な差は、摂動への感度を状態ごとに抑える従来型の正則化とは異なり、状態が変わっても同じ摂動に対するポリシーの反応が近傍で一貫するように設計した点にある。例えば、ある状態で重要でない物体の位置変更が行動に影響しないなら、近い状態でも同じ変更によって出力がずれないことを目指す。状態空間の内積の最小固有値を抑える操作は、ポリシー出力に一次の影響を与えない摂動方向、すなわち零空間を状態間で共有させる設計として読める。単に全方向への反応を弱めるのではなく、どの変化を無視すべきかを状態のまとまりに沿って扱うのが要点である。 実機の平均成功率は18％から57％へ39ポイント上がったとされ、追加データなしで得た結果である。ただし対象は実機アームの3タスクであり、この結果だけで他のロボットや操作環境でも同じ改善が得られるとは言えない。シミュレーションでは分布シフトへの頑健性も報告されたが、実機試験でどの種類・大きさの摂動を与えたかは、提示された要約からは確認できない。したがって、実環境で問題になるセンサー雑音、場面の変化、誤差の累積のうち、どれが実機の改善に寄与したかを切り分ける必要がある。 実装面では、既存パイプラインに追加でき、決定論的・確率的ポリシーの双方を対象とする点が、特定のモデル形式に限定しない導入経路を示している。一方、状態のクラスタ数や設定方法、計算負荷、ベースラインとの比較条件は要約に記載されていない。ノルム罰則がシミュレーションで行動クローニングを下回る場合があったという結果も、摂動耐性を得るための正則化なら何でも有効というわけではないことを示す。次に確認すべきなのは、タスクごとの成功率と試行数、摂動条件、クラスタ設定への感度、学習・推論時の追加コスト、そして別の実機や操作タスクで再現するかである。

なぜ重要か

模倣学習では、センサー雑音や場面の変化、誤差の累積によって、デモから学んだポリシーが想定外の状態に対応しにくくなる課題がある。論文が報告した実機アームの改善は、追加データに頼らず状態間の応答をそろえる方法がこの課題に関係する可能性を示すが、適用範囲は3つの操作タスクでの評価に限られる。