日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.31859

fp32マスターコピーなしのbf16ファインチューニングは更新の大半を静かに消す

Full-Weight VLA Fine-Tuning Without an fp32 Master Copy Silently Erases Most Updates

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルをbf16のみで学習すると小さい更新が丸められて消えることを示し、fp32コピーを保持するだけでLIBERO成功率が大幅に向上することを報告した論文。

詳しい要約

1. どんなもの?

- VLA(vision-language-action)モデルのfine-tuningにおいて、trainable weightsをbf16のまま保持しfp32 master copyを持たない場合に生じる更新消失問題を報告した研究。 - AdamWがbf16へ直接書き込むと、weightの1/512未満の更新がsilentlyに丸められ消える。 - 12の公開VLAコードベース中9がこの設定をデフォルトまたは文書化されたレシピとして採用し、うち4はfull weight matricesを対象に含む(LeRobotのSmolVLAデフォルトや$\pi_0$/$\pi_{0.5}$ガイド等)。 - 修正はtrainable weightsをfp32で保持することであり、LeRobotのSmolVLAではone-line changeと述べる。

2. 先行研究と比べてどこがすごい?

- 先行研究との直接比較は要旨からは不明。 - 本研究の貢献は、VLA fine-tuningにおけるbf16直接更新の更新消失を実測で示した点。 - LIBERO runsで100 stepごとのprobeにより、bf16 weightsへの更新の少なくとも79%がerasedされることを発見。 - Hugging Face Hubの調査で、sampled full-weight SmolVLA fine-tunesの99%がaction expertをbf16で保存し、recent $\pi_{0.5}$ fine-tunesの84%がbf16 flagを設定していたことを示す。 - fp32 copyによりLIBERO-Objectで大幅なsuccess率改善を報告。

3. 技術・手法の肝は?

- trainable weightsをbf16で保持しfp32 master copyなしでAdamWを適用する設定の問題を分析。 - 100 stepごとのprobeでbf16 weightsへの更新がerasedされる割合を測定。 - LIBERO-Object上でrulesを事前固定した比較実験を実施。 - fp32 copyあり/なし、learning rate(ten-times lowerとdefault)、open-loop 50-action chunksとre-planning every 10 actionsの条件を比較。 - SmolVLAのevery trainable weightをbf16にした条件とも比較。 - 修正はtrainable weightsをfp32で保持するone-line change。

4. どうやって有効だと検証した?

- LIBERO runsで100 stepごとのprobeを実施し、bf16 weightsへの更新の少なくとも79%がerasedされることを確認。 - Hugging Face Hubのsampled full-weight SmolVLA fine-tunesの99%、recent $\pi_{0.5}$ fine-tunesの84%がbf16設定であることを調査。 - LIBERO-Objectでrulesを事前固定し、fp32 copyがSmolVLAのsuccessを4.3%から49.3%へ、$\pi_{0.5}$を5.1%から80.9%へ向上(ten-times lower learning rate、両モデルundertrained)。 - $\pi_{0.5}$のdefault rateで89.0%から97.7%へ向上。 - SmolVLAのdefault rateでopen-loop 50-action chunksでは10.2 points、re-planning every 10 actionsでは4.2 pointsの改善。 - 5つの比較とSmolVLAの…

5. 議論はある?

- 12の公開VLAコードベース中9がbf16直接更新のレシピをデフォルトまたは文書化しており、4はfull weight matricesを対象とする。 - LeRobotのSmolVLAデフォルトや$\pi_0$/$\pi_{0.5}$ガイドもこの設定を含む。 - Hugging Face Hub上でもbf16保存が広く普及している実態を示す。 - 修正はtrainable weightsをfp32で保持するone-line changeで済むと述べる。 - 具体的な議論や限界については要旨からは不明。

6. 次に読むべき論文は?

- LeRobotのSmolVLA - $\pi_0$ / $\pi_{0.5}$ - LIBERO / LIBERO-Object - AdamW - Hugging Face Hub - 要旨で参照/比較されている上記の研究・手法・データセットを次に確認すべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shubham Singh

分類: cs.RO

原文アブストラクト

When a vision-language-action (VLA) model is fine-tuned with its trainable weights in bfloat16 (bf16) and no fp32 master copy, AdamW writes each update straight into bf16, silently rounding away any update smaller than 1/512 of a weight. In 9 of 12 open VLA codebases a default or documented recipe trains this way, 4 on full weight matrices, including LeRobot's SmolVLA default and its $π_0$/$π_{0.5}$ guides. In our LIBERO runs without the copy, a probe every 100 steps finds at least 79% of updates to bf16 weights erased. On the Hugging Face Hub, 99% of sampled full-weight SmolVLA fine-tunes store the action expert in bf16, and 84% of recent $π_{0.5}$ fine-tunes with a training configuration set the bf16 flag. On LIBERO-Object, with rules fixed in advance, an fp32 copy raises success over LeRobot's storage from 4.3% to 49.3% for SmolVLA and from 5.1% to 80.9% for $π_{0.5}$ at a ten-times lower learning rate, where both models are undertrained, and from 89.0% to 97.7% for $π_{0.5}$ at its default rate. For SmolVLA at its default rate it adds 10.2 points with open-loop 50-action chunks but only 4.2 when re-planning every 10 actions. In these five comparisons and two more against SmolVLA with every trainable weight in bf16, every run with the copy beats every run without it (p < 0.05); all gaps but the 8.7- and 4.2-point ones clear our 10-point threshold. The fix is to keep the trainable weights in fp32 during training, a one-line change for SmolVLA in LeRobot.

関連論文

PR本紙発行元 EmplifAI