理由タグで人間の選好を学習する強化学習

- 本論文は、人間の選好とその理由を同時に学習する **reason-guided preference-based reinforcement learning (PbRL)** フレームワークを提案する。 - trajectory-level feedback から human reward model を学習する。 - preference labels に加えて、なぜその行動が好まれるかを説明する **reason tags** を利用する。 - 学習した human reward を環境報酬と組み合わせて policy optimization を行う。 - タスク性能の向上と、人間に整合し解釈可能な行動の生成を両立させる狙いがある。

- 従来の preference-only reward learning と比較して、reason tags という追加の supervision を活用する点が特徴。 - 人間の選択だけでなく、その根拠も reward に反映できる。 - これにより、human-aligned reward の学習が改善され、policy の interpretability も向上すると主張している。 - 具体的な先行研究名や定量的比較は要旨からは不明。

- trajectory-level feedback から preference labels と reason tags を収集し、human reward model を学習する。 - reason tags は「なぜその行動が好まれるか」を説明するラベルとして reward 学習の追加監督信号になる。 - 学習した human reward を環境報酬と組み合わせて policy optimization に用いる。 - タスク報酬だけでは得られない人間の意図・安全選好への整合を促す設計。 - 具体的なモデル構造や損失関数は要旨からは不明。

- 要旨からは不明。 - 実験設定、ベースライン、評価指標、定量結果についての記述がない。 - 主張としては、reason-guided formulation が preference-only より human-aligned reward の学習と interpretability を改善すると述べられているが、検証方法は明示されていない。

- 要旨からは不明。 - reason tags の収集コストやラベルの質、主観性への対処についての議論は記述されていない。 - 環境報酬との組み合わせ方や重み付け、タスク性能と人間整合性のトレードオフについても要旨からは不明。

- 要旨で参照・比較されている **preference-based reinforcement learning (PbRL)** および preference-only reward learning の代表的文献。 - 人間の選好から報酬を学習する関連手法として **RLHF (Reinforcement Learning from Human Feedback)** や **reward modeling** の定番研究。 - trajectory-level feedback を用いる PbRL の基礎文献。 - 具体的な論文名は要旨に記載がないため、上記分野の代表的研究を次に読む候補とする。