VLAは物体の物理特性を十分に捉えていない可能性、arXiv論文が指摘

何が起きたか

arXiv掲載の論文「Do VLAs Understand and Adapt to the Objects They Handle, or Simply Replay Learned Behaviors?」は、2026-10-05に、VLAが物体の物理特性を理解して動作を調整しているのか、それとも学習済みの動作を再生しているだけなのかを検証した。著者らは7つのVLAについて、線形プロービングと表現類似度解析（RSA）を用いて内部表現を調べた。その結果、質量、脆さ、変形しやすさ、摩擦、サイズといった物理特性は、ほぼ全てのモダリティ・ストリームで意味カテゴリや材質、音、価格よりも読み出しにくかった。

詳細

論文は、ベースのVLMと比べると、ロボット事前学習が言語ストリームにおける物理特性の線形表現を弱めると述べている。また、事前学習後も下流の微調整後も、物理特性の差と活性値の距離の対応は強まらなかったとしている。 行動面では、制御されたLIBEROのケーススタディで、対象物の質量を増やし、その変化を言語または視覚で伝えた。多くのVLAは、元の質量の物体とより重い物体で似た持ち上げ動作を取り、タスク成功率が低下した。少数の例外はあったが、それらも質量そのものではなく、語彙的または視覚的な手がかりに反応して行動を変えたと論文は報告している。

Key Facts

本紙の見方

この論文の新しさは、VLAの失敗を単なるベンチマーク性能の問題としてではなく、「物理特性が表現に入っているか」「その表現が行動に使われているか」の二段階に分けて検証した点にある。7つのVLAを対象に、線形プロービングとRSAで内部表現を見たうえで、LIBERO上で質量操作まで行っているため、認識と制御の両方を一つの筋道で点検している。結果として、物理特性は意味カテゴリや材質、音、価格より読み出しにくく、さらに活性値距離も物理差を反映しにくい。つまり、モデル内部に物理の手がかりが薄く、あっても運動制御に結びついていない可能性が示された。 本紙の過去報道との接続はないが、今回の論文はVLAを「見えている対象を扱えるか」ではなく、「同じ対象でも状態が変わったときに動作を変えられるか」という問いに置き直している点が重要である。ロボット事前学習が言語ストリームの物理特性表現を弱めたという記述は、学習を積めば物理理解が単純に強まるという直感に沿わない。微調整後も物理差と表現距離の整合が改善しなかったことから、下流学習だけで補える問題かどうかが焦点になる。 業界構造への含意としては、VLAの評価軸が「成功率」だけでは不十分で、物体の質量・摩擦・変形性のような変化に対して動作が本当に更新されるかを問う必要がある。少なくともこの結果では、モデルが語彙的・視覚的手がかりに反応している例があり、現場で必要な物理量の抽象化とは別の経路で見かけ上の適応が起きている可能性がある。したがって、学習データの多様化だけでなく、物理特性を明示的に結びつける表現学習や、質量変更のような条件変化を含む評価設計が論点になる。 未確定の論点は、7つのVLAの個別差、どのアーキテクチャや学習設定が相対的に影響を受けにくいのか、そしてLIBERO以外の環境でも同じ傾向が出るかである。論文は弱い物理表現と不安定な適応を示したが、どの設計要素が改善に効くかまでは示していない。

なぜ重要か

この論文が示すのは、VLAの実用性を左右するのが単なる認識精度ではなく、質量や摩擦の変化に応じて動作を変えられるかどうかだという点である。著者らは、ロボット事前学習や微調整だけでは物理特性の表現と行動への反映が十分強まらないと報告しており、評価や学習の設計を見直す必要があることを示唆している。