物理推論2026/9/8arXiv:2609.08250

CALIPER：クリーンなシーンでは事前学習済み視覚表現の物理推論を評価できない

CALIPER: Clean Scenes Cannot Rank Physical Inference in Pretrained Visual Representations

事前学習済み視覚エンコーダの物理推論能力を評価する新しい手法CALIPERを提案し、固定カメラのクリーンなシーンでは既存の評価が物理推論を正しく区別できないことを示した。

詳しい要約

1. どんなもの？

CALIPERは、事前学習済みの視覚エンコーダ（V-JEPA 2など）が物理推論（物体の質量や摩擦に基づく滑り距離の予測）を実際に行えるかを直接評価するベンチマーク手法。物体を既知速度で2回打ち、3回目の打撃は接触直前までしか見せず、凍結特徴量上の線形リードアウトで滑り距離を予測させる。別物体の較正クリップに交換して、証拠が実際に使われているかを確認する。

2. 先行研究と比べてどこがすごい？

従来の摂動ベンチマークや線形プローブは、固定カメラのクリーンなシーンで評価されるため、物理推論をしないエンコーダでも見かけ上高い性能を示す。CALIPERは、較正と交換の手順により、エンコーダが実際に物理的手がかり（質量や摩擦）を利用しているかを直接検証する点が新しい。

3. 技術・手法の肝は？

手法の肝は、物体の質量と摩擦が未知のまま、2回の打撃で較正クリップを作成し、3回目の打撃の接触時点までの映像から滑り距離を予測させる点。さらに、別物体の較正クリップに交換することで、予測が較正情報に依存しているかを確認する。これにより、見かけの手がかり（ピクセル座標での変位）ではなく、物理量の推論を強制する。

4. どうやって有効だと検証した？

2,000のシミュレーションエピソードと8つの表現（V-JEPA 2からランダム初期化ViT、生ピクセルまで）で検証。較正によりR^2が+0.50向上し、交換によりその効果が消えることを確認。クリーンなシーンでは全表現が真のシミュレータ状態による上限と0.02 R^2以内に収まるが、カメラ・照明・背景を変えると0.50 R^2の差が生じる。速度選択タスクではV-JEPA 2が4mm、ランダムViTが20mmの誤差。

5. 議論はある？

線形プローブは表現の物理推論能力を正しく評価できないことが示された。フレーム集約の変更が事前学習よりもプローブ結果に影響し、質量方向を消去してもシーンによってはコストが0または0.35 R^2と異なる。ベンチマークがモデルをランク付けできるかは経験的性質であり、3つのチェックを提案している。

6. 次に読むべき論文は？

要旨からは、V-JEPA 2やランダム初期化ViTなどの表現が比較されているが、具体的な次読むべき論文は不明。関連手法として、物理推論ベンチマークや世界モデルのための視覚エンコーダ評価に関する研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Aman Mehta, Riya Baviskar

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

How far a pushed object slides depends on its mass and friction, which no single image reveals. Pretrained visual encoders are increasingly used as the perception front end of world models for manipulation, and their physical competence is assessed with perturbation benchmarks and linear probes, almost always in a clean, fixed-camera scene. We show that these assessments cannot distinguish an encoder that infers physics from one that does not. CALIPER (calibrate, then predict) is a direct test: an object of unknown mass and friction is struck twice at known speeds, a third strike is shown only up to the moment of contact, and a linear readout on frozen features must predict how far the object slides. Swapping in another object's calibration clips checks that the evidence is actually used. Across 2,000 simulated episodes and eight representations, from V-JEPA 2 to a randomly initialised ViT and raw pixels, calibration adds +0.50 R^2 and the swap removes it. Yet in the clean scene every representation lands within 0.02 R^2 of the ceiling set by true simulator state, because a fixed camera exposes the object's displacement directly in pixel coordinates. Resampling camera, lighting, and clutter for every clip spreads the same representations across 0.50 R^2; when the readout chooses a push speed for a goal distance, V-JEPA 2 misses by 4 mm and the random ViT by 20 mm, no better than ignoring the object. Linear probes track none of this: a change in frame aggregation moves a probe more than pretraining does, and erasing the probed mass direction from the same representation costs nothing in one scene and 0.35 R^2 in the other. Whether a benchmark can rank models is an empirical property, and we give three checks that establish it.

arXivで原文を読む →arXiv概要ページ