REFACTOR-VLA: 型付きモータープログラムの教師なしライブラリ学習

REFACTOR-VLAは、視覚・言語・行動（VLA）モデルから再利用可能なスキル（抽象化）を自動的に学習するためのシステムである。スリープ（睡眠）フェーズとウェイク（覚醒）フェーズからなる。スリープフェーズでは、学習された潜在世界モデルM_φのロールアウトから計算される行動等価カーネル（BEK）を用いて、モータープログラムの断片をクラスタリングする。ウェイクフェーズでは、Hindley-Milnerに着想を得た語彙上の型付きラムダ項を生成し、ライブラリ条件付きのrectified-flowアクションデコーダで消費する。抽象化は、最小記述長（MDL）とリターン保存のゲートを通過した場合のみ採用される。

既存のVLAモデル（OpenVLA、π0、RT-2、RDT-1Bなど）はモノリシックであり、生のモーターコマンドや短いアクションチャンクを出力するだけで、行動を再利用可能な抽象化に整理しないため、長期的なタスクで性能が低下し、解釈が困難である。既存のスキル発見手法は、行動シーケンスがいつ行動的に等価であるかという核心的な問題を回避し、対照的埋め込みのクラスタリングや、ロボットのダイナミクスに較正されていない言語モデルに判断を委ねることが多い。REFACTOR-VLAは、行動等価性を明示的に定義し、世界モデルに基づくカーネルで判断することで、この問題に取り組む点が新しい。

手法の肝は、スリープ/ウェイクシステムと、行動等価カーネル（BEK）の導入である。スリープフェーズでは、潜在世界モデルM_φのロールアウトからBEKを計算し、モータープログラムの断片をクラスタリングする。ウェイクフェーズでは、Hindley-Milnerに着想を得た語彙で型付きラムダ項を生成し、ライブラリ条件付きのrectified-flowアクションデコーダで消費する。抽象化は、最小記述長（MDL）とリターン保存のゲートを通過した場合のみ採用される。また、世界モデルのウォームアップ中に補助的な教師付き対比損失（InfoNCE）を追加することが、スリープフェーズのクラスタリングを大幅に改善する。

LIBEROベンチマークで検証した。世界モデルを188Mから430Mパラメータに拡大すると、4つのスイートすべてで性能が悪化した。一方、トレーニング目的関数が重要であり、InfoNCE損失を追加することで、スリープフェーズのクラスタリングが改善し、Normalized Mutual Information（NMI）がn=3シードでobject 0.462±0.021、spatial 0.867±0.025、goal 0.915±0.013、LIBERO-10 0.754±0.010となり、4つのスイートすべてで最も強い公開ベースラインを平均Δ=+0.184上回った。プロバイダー間（n=12）での平均ペアワイズNMIの95%ブートストラップ信頼区間は[0.683, 0.729]（平均0.705）であった。スリープフェーズは、実際のLIBEROタスク言語ライブラリを初めて生成し、デコーダは3つの採用された抽象化のうち2つを使用し、256のサンプルされたデモンストレーションをすべて書き換えた。

要旨からは、世界モデルの容量を増やすことが必ずしも性能向上につながらないという興味深い発見が示唆されるが、その理由については詳しく議論されていない。また、InfoNCE損失の追加が有効である理由や、BEKの計算コスト、実ロボットへの適用可能性などについては要旨からは不明である。さらに、提案手法がLIBEROベンチマークでのみ検証されており、他のベンチマークや実世界での有効性は不明である。

要旨で参照されている研究には、OpenVLA、π0、RT-2、RDT-1BなどのVLAモデル、既存のスキル発見手法（対比的埋め込みのクラスタリングや言語モデルを用いたもの）、Hindley-Milner型システム、rectified-flow、InfoNCE損失などがある。次に読むべき論文としては、これらの関連研究が挙げられるが、具体的なタイトルは要旨に明記されていないため、同分野の定番である「OpenVLA: An Open-Source Vision-Language-Action Model」や「π0: A Vision-Language-Action Flow Model for General Robot Control」などが考えられる。