VERDI: 継続的な世界モデル最適化における検索は転移ではない

VERDIは、事前学習済みのFoundation world modelをユーザー指定の目的に合わせて継続的に最適化するためのフレームワークである。各最適化キャンペーンで得られた知識を次のモデルに転移させる際、単なるレシピの再利用ではなく、ターゲット側での実験的検証を経た「証拠に基づく」知識のみを転移可能とする。モデルを共有の推論時プローブで特徴づけるOptimization Fingerprintを構築し、過去の経験をランク付けされた仮説として検索し、凍結されたターゲット側検証器で候補を検証した後にのみ再利用可能な証拠として採用する。また、近接するフィンガープリント間の矛盾に基づいてプローブ自体を進化させ、診断表現を継続的に改善する。

既存の研究エージェントは最適化ループを自動化するが、成功した戦略を直接再利用可能なレシピとして扱い、転移が適切かどうかの原理的な保証がない。VERDIは「検索は転移ではない」という原則に基づき、戦略はあくまで仮説であり、ターゲット側での検証を経て初めて転移可能な知識になると主張する点が新しい。さらに、モデルをプローブで特徴づけるフィンガープリントと、矛盾に基づくプローブ進化により、診断表現自体を適応させる点も独自性が高い。

VERDIの手法の核は、(1) 各world modelを共有の推論時プローブで評価し、Optimization Fingerprintを構築する点、(2) 過去の経験をフィンガープリントに基づいてランク付けされた仮説として検索する点、(3) 各候補を凍結されたターゲット側検証器で検証し、成功したものだけを再利用可能な証拠として採用する点、(4) 近接するフィンガープリント間の矛盾を検出し、プローブを進化させて診断表現を継続的に改善する点である。これにより、不適切な転移（negative transfer）を防ぎ、検索コストと計算コストを削減する。

実験はCtrl-World、Cosmosファミリー、RoboCoinの3つのベンチマークで実施された。その結果、VERDIは検索コストを68%、GPUコストを69%削減し、negative transferを0.34から0.06に低減した。また、転移の成否を予測する符号精度は83%に達した。

要旨からは、VERDIの限界や議論についての詳細は不明である。ただし、提案された原則「検索は転移ではない」は、転移学習の一般的な問題を提起しており、検証の重要性を強調している。また、プローブ進化のメカニズムは、モデル分布の変化に適応する可能性があるが、その収束性や計算コストについては議論の余地があるかもしれない。

要旨で参照されている研究は、Foundation world models、研究エージェント、転移学習に関するものである。具体的には、Ctrl-World、Cosmosファミリー、RoboCoinのベンチマークに関連する論文や、world modelの最適化に関する既存研究が挙げられる。また、転移学習の理論やメタラーニングの分野の定番論文も関連する。