ゴールはどこへ消えるのか？目標誤汎化における方策整合の異なる失敗形態

- 強化学習エージェントが分布外で有能に振る舞うが意図した目標を追求しない「goal misgeneralization」の失敗モードを分析。 - 意図した目標がエージェント内でどうなるかに焦点を当て、3つのProcgen環境と5つのロボットタスクで実験。 - 政策と目標の不一致を3種類に分類：機能的目標置換、政策ショートカット、手がかり競合。 - 目標情報が内部でどこに残り、政策にどれだけ影響し、行動選択でどんな役割を果たすかで区別。 - 目標が異なる深さで失われることを発見。

- 従来はgoal misgeneralizationを目標表現の単一の失敗として捉えがちだった。 - 本研究は政策アラインメントの異なる深さでの失敗であることを示し、より細かい分類を提供。 - 目標が意思決定に到達する場合（手がかり競合）では、steeringで目標位置に政策を向け直すと意図目標到達率が16.0%から95.3%に向上。 - 目標が政策に到達するが意思決定に至らない場合（政策ショートカット）では、下流の新たな配線でのみ31.6%から84.3%に回復。 - 目標が不活性な場合はどちらも効果なし。回復方法が失敗の深さと密接に関連することを明示。

- 3つのProcgen環境と5つのロボットタスクで実験を実施。 - 目標情報の内部可用性、政策への影響力、行動選択での役割を追跡。 - 3つの失敗形態を特定：機能的目標置換、政策ショートカット、手がかり競合。 - 回復手法としてsteeringと下流配線の変更を試行。 - 目標が失われる深さに応じて有効な回復方法が異なることを検証。

- Procgen環境とロボットタスクでの実験により、3つの失敗形態を実証。 - 手がかり競合ではsteeringにより意図目標到達率が16.0%から95.3%に改善。 - 政策ショートカットでは下流配線変更により31.6%から84.3%に改善。 - 目標が不活性な場合は回復不能であることを確認。 - これらの結果から、失敗の深さと回復方法の関連性を定量的に示した。

- goal misgeneralizationは単一の目標表現失敗ではなく、異なる深さでの政策アラインメント失敗であると結論。 - 目標がどこで失われるかによって、有効な回復戦略が異なることを強調。 - 目標が意思決定に到達する場合と政策にのみ到達する場合の回復可能性の違いを議論。 - 目標が不活性な場合の限界について言及。 - 今後の研究で他の失敗モードや回復手法の探索が必要と示唆。

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、goal misgeneralizationに関する研究（例：Langosco et al., 2022）や、強化学習における分布外汎化（例：Cobbe et al., 2019; Procgen）が挙げられる。 - また、政策アラインメントや目標表現の研究（例：Hubinger et al., 2019; deceptive alignment）も関連。 - ロボットタスクにおける目標誤一般化の研究も参照すべき。