RAFT: 推論整合ファインチューニングによるVLAポストトレーニングのロバスト性向上

- 汎用 VLA (vision-language-action) policy を限られた demonstration で対象タスクに適応させる post-training 手法 - reasoning-aligned fine-tuning (RAFT) と名付けた二段階の post-training 手続き - 一段目で task-relevant reasoning annotations に low-rank adapters を学習し、二段目でそれを凍結して action demonstrations で policy を fine-tune する - 対象は実機 DROID robot や多段 bimanual YAM task、シミュレーションの pick-and-place / open-drawer - 狙いは nominal な成功率だけでなく appearance・object・instruction の変化への robustness 改善

- plain fine-tuning と比較し、実機 DROID robot で out-of-distribution success が 27.9% から 75.0% へ向上 - 多段 bimanual YAM task では mean success が最強 baseline の 36.0% に対し 70.0% に到達 - シミュレーションの pick-and-place と open-drawer でも visual・object・instruction shift 下の success が改善 - 限られた demonstrations での適応が nominal success を上げつつ robustness を損なう従来の課題に対し、reasoning annotations を活用する点が特徴 - 具体的な比較対象の baseline 名は要旨からは不明

- 二段階の post-training: まず task-relevant reasoning annotations で low-rank adapters を訓練 - 次にその adapters を freeze したまま action demonstrations で policy を fine-tune - reasoning を先に注入することで action 学習時にも task 関連領域への attention を保つ設計と解釈できる - 後段 layer における object identity の linear-probe accuracy が向上すると報告 - reasoning-data mixture を広げると demonstration budgets をまたいで downstream success が改善

- 実機 DROID robot での out-of-distribution success を plain fine-tuning と比較 - 多段 bimanual YAM task で mean success を最強 baseline と比較 - シミュレーションの pick-and-place と open-drawer で visual・object・instruction shift 下の success を評価 - attention が annotated task regions に多く向くことを確認 - 後段 layer の object identity に関する linear-probe accuracy を比較 - 異なる demonstration budgets と reasoning-data mixture の広さで downstream success を検証

- reasoning annotations の品質・種類・mixture の広さが downstream success に影響する可能性 - low-rank adapters を freeze する設計の妥当性や他の凍結・統合方法との比較は要旨からは不明 - attention と linear-probe の変化は示されるが robustness 向上の因果機序の詳細は要旨からは不明 - 実機は DROID と YAM の限られた設定であり他ロボットやタスクへの一般化は要旨からは不明 - baseline の詳細や計算コスト、annotation 作成コストの議論は要旨からは不明

- plain fine-tuning との比較対象となっている VLA post-training 研究（具体名は要旨からは不明） - low-rank adapters を用いる parameter-efficient fine-tuning（LoRA など） - vision-language-action policy の汎用モデル（RT-2 や OpenVLA など同分野の定番） - DROID データセット／robot platform に関する研究 - reasoning annotations や chain-of-thought を用いた robot policy の fine-tuning 研究 - bimanual manipulation の multi-stage task に関する研究