特権的批評家トレーニングによるセンサ不要のスラスタ故障適応：エンドツーエンド強化学習

本論文は、スラスタ駆動ロボットの故障適応を、専用の故障センサなしで実現する強化学習手法RAFT (Recurrent Asymmetric Fault Tolerant) を提案している。故障はバイナリではなく連続的な劣化や固着など多様であり、完全には観測できない。提案手法は、訓練時にのみ価値関数（critic）に真の劣化状態を特権情報として与える非対称なcritic学習を用い、actorは標準的なタスク観測のみで動作する。これにより、展開時には故障センサを必要とせず、ポリシーが故障を補償することを示す。

従来の故障検出パイプラインは専用センサを必要とし、展開時には利用できない。また、真の故障状態を観測するオラクルコントローラは非現実的である。本研究は、特権的なcritic訓練がセンサフリーの故障適応に十分であることを示し、故障検出モジュールやオラクルを不要にする点が新しい。さらに、リカレントメモリを導入することで、部分観測下での連続的・複合的故障に対処する。

手法の核は、非対称なactor-criticアーキテクチャである。actorは標準的なタスク観測のみを受け取り、criticは訓練時に真の劣化状態dgtを追加で受け取る。これにより、criticは故障状態を考慮した価値推定を行い、actorのポリシー勾配を効果的に shaping する。また、リカレントメモリを持つポリシーを採用し、時系列の観測から故障を暗黙的に推定する。PPOアルゴリズムをベースに、特権的criticを訓練する。

浮遊プラットフォームロボット（8スラスタ、1リアクションホイール）を用いて、最大4つの同時スラスタ故障を想定した評価を実施。RAFTは4同時故障で成功率70.2%を達成し、故障非考慮ベースライン（4.8%）とオラクルポリシー（82.4%）の間のギャップの84%を埋めた。コード、チェックポイント、データは公開されている。

要旨からは、提案手法がセンサフリーで故障適応を実現する一方、オラクルには及ばないことが示唆される。また、リカレントメモリの必要性や、特権的criticの訓練がどのようにポリシーを shaping するかについての理論的解析は要旨には含まれていない。さらに、実機での検証や、より複雑な故障パターンへの一般化については不明。

要旨で参照されている関連研究として、非対称なactor-critic（asymmetric actor-critic）や、特権的学習（privileged learning）を用いた手法が挙げられる。また、故障検出・適応の古典的手法（fault detection and isolation, FDI）や、部分観測マルコフ決定過程（POMDP）に対するリカレントポリシーを用いた強化学習も関連する。具体的な論文名は要旨にないため、これらの一般名を挙げる。