自己修復型リカレントアンサンブルによる分布シフトからのリアルタイム回復

- 事前学習済みコントローラが、センサドリフト、センサ故障、測定ノイズなどによる分布シフトに直面した際、オンラインかつ教師なしでポリシーを回復させる手法。 - コントローラはリカレントネットワークのアンサンブルで、各メンバーは観測ベクトルのランダムにマスクされたサブセットを観測し、ガウス出力を逐次Kalman fusionで統合する。 - 展開時、コンセンサスを自己教師ラベルとして各メンバーを微調整し、各メンバーの寄与をKalman gainの二乗の補数に比例してスケーリングする。 - 勾配はRFLO（Real-Time Recurrent Learningの効率的で生物学的に妥当な近似）を用いて計算され、環境ステップごとにパラメータ更新が行われる。 - シミュレーション連続制御タスクで、センサシフト後に元の性能に近い回復を達成。完全な観測を見るアンサンブルは回復できない。 - 同じフレームワークは完全オンライン対話型模倣学習も包含し、専門家が存在する場合、コンセンサスラベルを専門家の行動に置き換え、同一の更新規則でテレオペレーション中にポリシーを洗練する。

- 従来のアンサンブル手法は完全な観測を見るため、分布シフト後に回復できないのに対し、本手法はランダムマスクされたサブセットを観測するメンバーとKalman fusionにより、シフトにオンラインで適応できる。 - 教師なしで自己教師ラベルを用いるため、専門家の修正ラベルが利用できない状況でも回復可能。 - RFLOにより、Real-Time Recurrent Learningの効率的な近似で、各環境ステップ後にパラメータ更新が可能となり、シフトが展開するにつれてポリシーが反応する。 - 完全オンライン対話型模倣学習も同一フレームワークで扱える点が新しい。

- リカレントネットワークのアンサンブル：各メンバーは観測ベクトルのランダムにマスクされたサブセットを観測。 - ガウス出力を逐次Kalman fusionで統合し、自信のあるメンバーがコンセンサス行動を支配。 - 展開時、コンセンサスを自己教師ラベルとして各メンバーを微調整。各メンバーの寄与はKalman gainの二乗の補数に比例してスケーリング。 - 勾配計算にRFLO（Real-Time Recurrent Learningの効率的で生物学的に妥当な近似）を使用。環境ステップごとにパラメータ更新。 - 専門家が存在する場合、コンセンサスラベルを専門家行動に置き換え、同一更新規則でテレオペレーション中にポリシーを洗練。

- シミュレーション連続制御タスクで評価。 - センサシフト後、本手法は元の性能に近い回復を達成。 - 完全な観測を見るアンサンブルは回復できないことを確認。 - 完全オンライン対話型模倣学習の枠組みも同一フレームワークで機能することを示唆。

- 要旨からは不明。

- 要旨で参照/比較されている研究：Real-Time Recurrent Learning (RTRL)、RFLO、Kalman fusion、オンライン対話型模倣学習。 - 関連手法：リカレントネットワークのアンサンブル、自己教師あり学習、分布シフトへの適応。