ガウスで十分：大規模行動モデルのファインチューニングにフローマッチング事前分布は効かない

大規模行動モデル（LBM）のファインチューニング時における事前分布選択の影響を検証した研究。 - 対象は diffusion や flow-matching ベースの生成的政策。 - 標準 Gaussian 事前分布と、目標に近い非 Gaussian 事前分布を比較。 - LBM 1.0、$π_{0.5}$、GR00T N1.5 の3モデルを対象。 - 2つのシミュレーションプラットフォーム、40以上のタスク、10万回以上のロールアウト、実機5タスク1250回のロールアウトで評価。 - 結論として、非 Gaussian 事前分布はファインチューニング性能を統計的に有意に改善しないか、むしろ悪化させる。

先行研究では、ゼロから学習する場合に非 Gaussian 事前分布が性能を大幅に改善することが示されていた。 - 本研究は、その利得がファインチューニングに転移するかを検証。 - 直感に反し、事前学習済み LBM のファインチューニングでは非 Gaussian 事前分布の利点がほぼ消失。 - 非常に低いファインチューニングデータ割合でのみ、わずかな利点の可能性があるが、明確ではない。 - 大規模な実験により、事前分布選択よりもエンコーダの学習が支配的であることを示した点が新しい。

技術の肝は、事前分布の選択がファインチューニング性能に与える影響を大規模に比較した点。 - 標準 Gaussian 事前分布と、目標分布に近い非 Gaussian 事前分布を用意。 - 3つの LBM（LBM 1.0、$π_{0.5}$、GR00T N1.5）をファインチューニング。 - シミュレーションと実機の両方でロールアウトを実施。 - 診断分析として、ファインチューニング後の政策が事前分布によらず類似の行動予測に収束することを確認。 - エンコーダ埋め込みは事前学習時から大きく乖離し、互いに異なることも示す。 - 学習率アブレーションにより、エンコーダの学習が性能を支配する要因であると確認。

有効性の検証は、大規模なシミュレーションと実機実験で実施。 - シミュレーション：2つのプラットフォーム、40以上のタスク、10万回以上のロールアウト。 - 実機：5つの両手マニピュレーションタスクで1250回のロールアウト。 - 非 Gaussian 事前分布が目標に近いことを示した上で、ファインチューニング性能を Gaussian 事前分布と比較。 - 結果、統計的に区別できないか、非 Gaussian の方が悪い場合が多い。 - 診断分析と学習率アブレーションにより、エンコーダ学習の重要性を確認。

議論の焦点は、なぜ非 Gaussian 事前分布がファインチューニングで効かないか。 - ファインチューニング後の政策は、事前分布によらず類似の行動予測に収束する。 - 一方で、ファインチューニングされたエンコーダ埋め込みは事前学習時から大きく乖離し、事前分布間でも異なる。 - 学習率アブレーションから、エンコーダの学習がファインチューニング性能の支配的要因であり、事前分布選択の影響を大きく上回る。 - 非常に低いデータ割合でのみ事前分布が影響する可能性があるが、要旨からは明確でない。 - 今後の研究方向として、いつなぜ学習された事前分布がファインチューニングで重要になるかを探る必要がある。

要旨で参照・比較されている研究や関連手法を挙げる。 - LBM 1.0 - $π_{0.5}$ - GR00T N1.5 - diffusion policy - flow-matching - 非 Gaussian 事前分布を用いたゼロからの学習に関する先行研究（具体的な論文名は要旨からは不明） - 同分野の定番として、imitation learning、behavior cloning、generative policies に関する基礎文献。