信頼誘導型Decision Transformer

- Decision Transformer (DT) の長いロールアウトにおける性能劣化を解決する Trust Guided Decision Transformer (TGDT) を提案。 - DT の性能劣化は、条件付けコンテキストが訓練分布から外れる (context drift) ことに起因。 - このドリフトはモデル自身の次状態予測誤差 (next state prediction error) の上昇として現れ、ロールアウト中に増加し高いままになる。 - TGDT はコンテキスト選択を価値ガイダンスの前に行うことで、信頼できるコンテキストのみを使用する。

- 従来の value only elastic selection では、critic がモデル自身が信頼できないと判断したコンテキストから生成された行動を選択する可能性があった。 - TGDT はコンテキスト選択を先に行い、信頼できるコンテキストの中から critic で最高価値の行動を選ぶため、この問題を回避。 - 実験で、state prediction、critic guidance、hard context reset はそれぞれ問題の一部しか解決しないことを示し、TGDT はそれらを上回る性能を達成。 - 具体的には、vanilla Decision Transformer、reset based context control、value only context selection と比較してリターンを改善し、持続的な高エラー実行を減少させる。

- 各ステップで、最近の複数のコンテキストサフィックスを評価。 - 評価には rolling next state prediction error を使用し、held out offline data を用いた split conformal prediction でキャリブレーションされた閾値と比較。 - 誤差がキャリブレーションされた閾値内に収まるサフィックスのみを保持 (trusted suffixes)。 - その後、frozen critic を用いて信頼できるサフィックスの中から最高価値の行動を選択。 - これにより、コンテキスト選択と価値ガイダンスの順序を逆転させ、信頼性を優先。

- D4RL の navigation および locomotion タスクで実験を実施。 - 比較対象: vanilla Decision Transformer、reset based context control、value only context selection。 - 結果: TGDT は持続的な高エラー実行を減少させ、リターンを改善。 - また、state prediction、critic guidance、hard context reset を個別に適用しても問題の一部しか解決できないことを示した。

- 要旨からは、TGDT の限界や失敗ケース、計算コスト、ハイパーパラメータ感度についての議論は明示されていない。 - ただし、context drift が next state prediction error で可視化できること、およびその誤差を conformal prediction でキャリブレーションするアプローチの有効性が示唆されている。 - より詳細な議論は要旨からは不明。

- 要旨で参照/比較されている研究: Decision Transformer、value only elastic selection、reset based context control、value only context selection。 - 関連手法: split conformal prediction、D4RL ベンチマーク。 - 次に読むべき論文として、これらの手法の原論文や、Decision Transformer のロバスト性に関する研究が挙げられる。