VLAモデル向上のためのオンライン強化学習フレームワーク「iRe-VLA」を提案

何が起きたか

2025年1月28日にarxiv.orgで公開された論文「Improving Vision-Language-Action Model with Online Reinforcement Learning」において、VLAモデルをRLで微調整するフレームワーク「iRe-VLA」が提案された。著者らは、大規模VLAモデルへの直接的なオンラインRL適用が訓練不安定性と計算負荷をもたらすと指摘し、RLと教師あり学習を交互に行う手法を導入した。

詳細

論文では、VLAモデルを専門家のロボットデータセットで教師あり微調整(SFT)した後、環境との相互作用を通じてRLでさらに改善する方法を探求している。直接オンラインRLを適用すると、大規模モデルの性能に深刻な影響を与える訓練不安定性と、多くのローカルマシンの能力を超える計算負荷が生じるという課題を挙げる。iRe-VLAは、RLの探索的利点を活用しつつ教師あり学習の安定性を維持するため、RLと教師あり学習を反復する。実験は2つのシミュレーションベンチマークと実世界の操作スイートで実施され、有効性が検証された。

Key Facts

なぜ重要か

VLAモデルはロボット制御の精度向上に寄与するが、その改善には環境との相互作用が不可欠となる。iRe-VLAは、計算資源の制約を緩和しつつRLの利点を活かす手法を提供し、ロボット学習の実用化を後押しする可能性がある。今後の研究では、実環境での適用範囲や安全性の検証が焦点となる。