想像された未来を信頼する：VLA事後学習のための想像報酬監査

- VLA（vision-language-action）モデルの post-training のための offline supervision selection 手法「Trusting Imagined Futures (TIF)」 - video world model が想像した未来（imagined outcomes）から候補行動の predicted reward を算出し、その reward を execution feedback で監査して信頼できる候補のみを選択する - 選択された実軌跡で behavior cloning を教師あり学習する枠組み

- 想像された未来の高い predicted reward が実行品質の低い軌跡を選びがちという問題に対し、reward をそのまま信用せず execution feedback で監査する点が新しい - 同一軌跡数・同一学習予算で既存軌跡のみの学習を 3.00 ポイント上回る - advantage ranking や logistic regression risk selection と置換数一致の条件でも優位 - 実ロボット動画でも選択軌跡の clean completion を 58.33% から 70.00% へ改善

- 多次元 reward model が候補ランキング用の utility score と実行品質の 5 次元を予測 - auditor が reward 予測と uncertainty を用い、imagined video と実実行のペアから学習した過大評価パターンを同定 - 既存軌跡に対する advantage が margin を超え、かつ audit risk が閾値を通過した場合のみ最高 utility 候補を採用、それ以外は既存 supervision を保持 - 保持された実軌跡で behavior cloning を実施

- LIBERO の 4 スイート・3 training seed で評価、平均成功率 76.25% - 既存軌跡学習比 +3.00 ポイント、audit gating 追加で +1.47 ポイント（reward model と advantage margin 固定） - advantage ranking・logistic regression risk selection との比較を置換数一致で実施 - 実ロボット 3 タスクの記録動画 60 candidate pools で clean completion が 58.33%→70.00%

- audit gating の寄与は 1.47 ポイントで、reward model と margin を固定した条件下での効果 - 比較は advantage ranking と logistic regression risk selection に限られ、他の選択手法との比較は要旨からは不明 - 実ロボット評価は 3 タスク・60 candidate pools に限定 - 計算コストや video world model 依存性に関する議論は要旨からは不明

- advantage ranking による選択手法 - logistic regression risk selection - behavior cloning - video world model を用いた imagined outcome 評価 - LIBERO ベンチマーク関連の VLA post-training 研究