倫理的判断ヘッド：人間のフィードバックからの強化学習による自動運転車の規範倫理の実装

本論文は、自動運転車（AV）のための深層強化学習（RL）フレームワークであるEthical Decision Head (EDH)を提案している。EDHは、倫理的推論を微分可能な報酬信号としてエンコードし、ポリシー勾配エージェントが道徳的に整合した運転行動を学習できるようにする。具体的には、CARLAシミュレーション環境に整合した状態表現を用い、功利主義（総犠牲者数最小化）とカント主義（コース維持を定言命法として強制）の2つの規範的枠組みを実装・評価している。EDHは、Proximal Policy Optimization (PPO)を用いて、200の衝突切迫シナリオにおけるペアワイズの人間の選好アノテーションから学習されたBradley-Terry報酬モデルに対して訓練される。

先行研究では、自動運転の倫理判断をシナリオベースのルールや単純なコスト関数で扱うことが多かったが、本論文は人間のフィードバックからの強化学習（RLHF）を倫理的意思決定に適用し、規範倫理を報酬信号として直接組み込む点が新しい。また、功利主義とカント主義という異なる倫理理論を実装し、その学習可能性を比較する点で、理論と実践のギャップを実験的に示している。

手法の核は、倫理的推論を報酬モデルとして表現し、RLエージェントの学習信号に組み込む点である。具体的には、Bradley-Terryモデルを用いて人間のペアワイズ選好から報酬関数を学習し、その報酬をPPOで最適化する。功利主義的条件では総犠牲者数を最小化する報酬を設計し、カント主義的条件ではコース維持を定言命法として報酬に組み込む。また、カント主義的条件はコードブック上で定数予測タスクに帰着するため、パイプラインの検証として機能する。

有効性の検証は、CARLAシミュレーション環境で200の衝突切迫シナリオを用いて行った。人間のペアワイズ選好アノテーションを収集し、Bradley-Terry報酬モデルを学習した。その報酬モデルに基づいてPPOでエージェントを訓練し、功利主義的条件とカント主義的条件の学習結果を比較した。カント主義的条件では訓練の安定性が確認され、パイプラインのインフラ障害が原因でないことを確認した。功利主義的条件では、人間の評価者が犠牲者数最小化よりも自己犠牲を好むことを学習し、その選好を忠実に反映した。

議論として、人間が理論的に規範倫理を支持する一方で、実際の報酬行動では自己犠牲を優先するという乖離が明らかになった。これは、RLHFが哲学者が定義する倫理ではなく、人間が実際に生きる倫理を学習することを示唆している。また、功利主義的条件の学習結果は「より不安を誘う」と表現され、人間の選好が必ずしも規範倫理と一致しないという点で倫理的な課題を提起している。ただし、要旨からは、この乖離の詳細な分析や、他の倫理フレームワークへの拡張については不明である。

次に読むべき論文としては、要旨で参照されている強化学習の基礎論文であるSchulman et al. (2017)のProximal Policy Optimization、Bradley and Terry (1952)のBradley-Terryモデル、Dosovitskiy et al. (2017)のCARLAシミュレータ、およびSAE International (2018)の自動運転レベル定義が挙げられる。また、関連手法として、人間のフィードバックからの強化学習（RLHF）の一般的な枠組みを扱った論文や、自動運転における倫理的意思決定に関する他の研究も参考になると考えられる。