何が起きたか
arXivに2025年7月14日付で掲載された論文「Should We Ever Prefer Decision Transformer for Offline Reinforcement Learning?」は、オフライン強化学習におけるDecision Transformer（DT）の性能を検証した。研究チームは、ロボット操作タスク（Robomimic）と移動ベンチマーク（D4RL）での実験を通じて、MLPベースのFiltered Behavior Cloning（FBC）がスパース報酬環境でDTと同等以上の性能を達成したと報告している。FBCは、データセットから低性能の軌道をフィルタリングし、その後に通常の行動クローニングを行うという単純な手法である。
詳細
近年、Transformerアーキテクチャを強化学習問題に適用する研究が盛んに行われている。その中で、Decision Transformer（DT）は、報酬条件付きポリシー学習をシーケンスモデリングタスクとして捉えることで、オフライン強化学習の文脈で特に注目を集めてきた。先行研究（Bhargava et al., 2024）は、DTと従来のMLPベースのオフラインRLアルゴリズム（Behavior Cloning（BC）やConservative Q-Learning（CQL）など）を体系的に比較し、スパース報酬・低品質データ環境でのDTの優位性を主張していた。 しかし、今回の研究では、FBCがスパース報酬環境でDTと競合またはそれ以上の性能を示すことが明らかにされた。FBCは、データセットから低性能の軌道を除外し、フィルタリング後のデータセットに対して通常の行動クローニングを実行するだけの手法であり、非常に単純である。さらに、FBCは必要なトレーニングデータが少なく、計算効率も高いとされる。 これらの結果から、研究チームはスパース報酬環境においてDTが好ましいとは言えないと結論付けている。また、先行研究から、高密度報酬環境でもDTが好ましいとは言えないと論じており、「DTが好ましい状況はあるのか」という問いを提起している。
Key Facts
| 論文「Should We Ever Prefer Decision Transformer for Offline Reinforcement Learning?」がarXivに2025年7月14日付で掲載された。 | [1] |
| 研究はロボット操作タスク（Robomimic）と移動ベンチマーク（D4RL）で実験を行った。 | [1] |
| MLPベースのFiltered Behavior Cloning（FBC）はスパース報酬環境でDecision Transformer（DT）と同等以上の性能を達成した。 | [1] |
| FBCはデータセットから低性能の軌道をフィルタリングし、その後に通常の行動クローニングを行う手法である。 | [1] |
| FBCは必要なトレーニングデータが少なく、計算効率も高いとされる。 | [1] |
| 先行研究（Bhargava et al., 2024）はDTがスパース報酬・低品質データ環境で優位性を持つと主張していた。 | [1] |
| 研究チームはスパース報酬環境でDTが好ましいとは言えないと結論付けた。 | [1] |
| 研究チームは「DTが好ましい状況はあるのか」という問いを提起した。 | [1] |
なぜ重要か
この研究は、オフライン強化学習におけるTransformerベースの手法（DT）の優位性に疑問を投げかけ、より単純なMLPベースの手法（FBC）が同等以上の性能を発揮することを示した。これは、強化学習アルゴリズムの選択における重要な知見を提供し、計算資源やデータ効率の観点からも実用的な示唆を与える。