Physical Intelligence、VLA学習の新手法「Knowledge Insulation」を発表 π0.5+KIで高速学習と汎化を両立

何が起きたか

Physical Intelligenceは2025年5月28日、視覚言語行動モデル(VLA)の新学習手法「Knowledge Insulation(KI)」を発表した。同社は、VLMバックボーン(3B)に行動エキスパート(300M)を追加する際、行動エキスパートからの勾配をバックボーンに流さない(Stop Gradient)ことで、事前学習で獲得したWeb規模の知識の喪失を防ぐ。さらに、π0-FASTの離散トークンを用いた表現学習を並行して行うことで、高速な学習と推論を実現する。この手法を適用したモデル「π0.5+KI」は、言語指示への追従性が向上し、連続動作をフローマッチングで生成する。

詳細

同社の研究チーム(Danny Driess氏ら)は、VLAの学習において、行動エキスパートの勾配がVLMバックボーンの表現に悪影響を及ぼし、学習速度の低下や言語理解能力の喪失を引き起こすことを実験で確認した。具体的には、スプーンを皿容器に入れる指示に対し、単純に行動エキスパートを追加したモデルはゴミを掴む誤動作を示した。Knowledge Insulationでは、行動エキスパートの勾配を遮断し、代わりにπ0-FASTの離散トークン(例: -17, 12, 34, 142)を表現学習の目的として使用する。これにより、バックボーンはモーター制御に適した表現を高速に獲得し、行動エキスパートはフローマッチングで連続動作を生成する。学習後、離散トークンは破棄される。同社は、この手法がπ0.5モデルで使用された方法を形式化し、単一段階の学習レシピに拡張したと説明している。

Key Facts

本紙の見方

今回の発表は、VLA(視覚言語行動モデル)の学習における根本的な問題——事前学習済みVLMに連続動作出力を追加する際に生じる「知識の忘却」——に対する解決策を提示した点で重要である。第1世代のVLA(RT-2、OpenVLA)は動作を離散トークン化しており、高頻度・精密な動作には不向きだった。第2世代のπ0は行動エキスパートを追加し拡散/フローマッチングで連続出力を実現したが、その勾配がVLMバックボーンの表現を損ない、学習が遅く言語理解が低下する問題があった。Knowledge Insulationは、行動エキスパートの勾配を遮断し、代わりにπ0-FASTの離散トークンで表現学習を行うことで、このトレードオフを解消する。 本紙の過去報道は存在しないが、この手法はπ0.5で使用された方法を形式化したものであり、同社のVLA開発の延長線上にある。π0-FASTは自己回帰型で推論が遅いという欠点があったが、KIはフローマッチングによる連続生成で高速な推論を実現しつつ、π0-FASTの学習速度の利点を活用する。これは、学習速度・推論速度・汎化性能の3つを同時に高める試みであり、VLAの実用化に向けた重要なステップとみられる。 業界構造への含意として、この手法はVLAの学習効率を向上させるため、ロボットのタスク適応に必要なデータ量や計算資源を削減できる可能性がある。特に、言語指示への追従性が向上することで、ユーザーが自然言語でロボットを操作するシナリオが現実味を帯びる。また、バックボーンの事前学習知識を保持できるため、Web規模の知識を活用したタスクの汎化が期待できる。 未確定の論点としては、π0.5+KIの実ロボットでの性能評価(具体的な成功率やタスク数)が公開されていないこと、また、この手法が他のVLAアーキテクチャ(例えば、異なるバックボーンや行動エキスパートの設計)でも有効かどうかが挙げられる。さらに、離散トークンによる表現学習がどの程度のデータ量で効果を発揮するかも今後の検証が必要である。

なぜ重要か

VLAの学習における「知識の忘却」問題は、ロボットが言語指示を正確に理解し、複雑な操作を実行する上での大きな障壁だった。Knowledge Insulationは、この問題を勾配遮断と離散トークンによる表現学習で解決し、高速な学習と推論を両立させる。これにより、ロボットの汎用性が向上し、家庭や産業での実用化が加速する可能性がある。