自由エネルギーゲート可塑性による物理的ヒューマンロボットインタラクションにおけるリアルタイムオンライン運動学習

本論文は、物理的なHuman-Robot Interaction（pHRI）における完全オンラインの身体化学習を実現するため、Predictive-Coding-inspired Variational Recurrent Neural Network（PV-RNN）を拡張し、シナプス重みを連続的に適応させる手法を提案している。具体的には、変分自由エネルギーに基づいて実効学習率を調整するFree-Energy-Gated Plasticity（FEGP）を導入する。ランダム初期化されたネットワークが、オフライン事前学習やリプレイ、タスク境界信号なしに、実時間のpHRI中に3つの周期的運動パターンを獲得できることを示す。

従来のオンライン学習手法では、新しい行動の獲得と既存の行動の保持のトレードオフが課題であり、多くの場合、リプレイやタスク境界信号、オフライン事前学習が必要であった。FEGPは、変分自由エネルギーに基づいて学習率を動的に調整することで、これらの外部信号なしに、連続的な相互作用中に新しいパターンを獲得しつつ、過去に獲得したパターンを保持することを可能にする。これは、単に平均的な学習率やその分布ではなく、モデルと環境のミスマッチに対する可塑性の時間的割り当てが重要であることを示す点で新規性がある。

手法の核心は、PV-RNNのシナプス重みを連続的に適応させるために、変分自由エネルギーに基づいて実効学習率を調整するゲート機構（FEGP）を導入することである。具体的には、各時間ステップでの変分自由エネルギーが高いとき（モデルと環境のミスマッチが大きいとき）に学習率を高くし、低いときには学習率を低くする。これにより、新しいパターンの学習を促進しつつ、既存のパターンの破壊を防ぐ。ネットワークはランダム初期化され、外部からのリプレイやタスク境界信号なしに、実時間の相互作用から学習する。

検証は、実時間の物理的Human-Robot Interaction実験で行われた。ランダム初期化されたネットワークが、3つの周期的運動パターンを獲得できることを示した。さらに、10のランダムな教示ストリームと各ストリームにつき5つのネットワーク初期化を用いた制御実験により、FEGPがパターンのカバレッジと、最近の観測ウィンドウから外れた過去に獲得したパターンの保持を大幅に改善することを確認した。また、ゲートの時間平均実効率に一致する一定学習率や、同じゲイン値のリプレイ（時間的組織を乱したもの）ではこれらの改善が再現されないことを示し、時間的割り当ての重要性を実証した。

議論として、FEGPの有効性は、可塑性の時間的割り当てが重要であることを示唆しているが、そのメカニズムの詳細（例えば、自由エネルギーの計算方法やゲートの形状）については要旨からは不明である。また、実験は特定のタスク（3つの周期的運動パターン）に限定されており、より複雑なタスクや長期的な学習への一般性は不明である。さらに、実時間の物理的相互作用における実装の詳細（ロボットの種類やセンサーなど）も要旨からは不明である。

次に読むべき論文としては、PV-RNNの元となったPredictive-Coding-inspired Variational Recurrent Neural Networkに関する論文や、変分自由エネルギーに基づく学習則（Free Energy Principle）に関する基礎論文が挙げられる。また、オンライン学習における破滅的忘却（catastrophic forgetting）を扱った研究や、リプレイを用いた継続学習（continual learning）の手法も関連する。具体的には、要旨で比較されている一定学習率やリプレイを用いた実験の詳細を報告した論文が参考になる。