日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ワールドモデルarXiv:2611.24778

反事実ワールドモデル:『もしも』を推論するJEPA

Counterfactual World Models: JEPAs That Reason About "What If"

シェア:XThreadsFacebookLINEはてブBluesky

隠れた外乱がある状況で、異なる行動をとった場合の結果を反事実的に予測する手法を提案。事実データのみで学習したワールドモデルに、力学の滑らかさの性質を用いて反事実予測を可能にし、JEPAで検証した。

詳しい要約

1. どんなもの?

- 隠れた外乱(例:船を押す海流)が作用する系で、同一外乱下の別行動の結果を問う counterfactual 推論を扱う研究。 - 事実遷移のみで学習した world model は原理的に答えられないことを証明し、counterfactual world model を提案。 - 追加の counterfactual データ・パラメータ・再学習なしで counterfactual 予測を実現。 - JEPA world model と frozen encoder(DINOv2, MAE 等)で画素から検証。

2. 先行研究と比べてどこがすごい?

- 事実遷移で学習した world model は、データ量や容量に関わらず counterfactual に答えられないことを証明した点が理論的貢献。 - 従来は counterfactual データや再学習が必要と考えられがちだが、それを不要にした。 - 同一 world model のまま counterfactual $R^2$ を $38$–$46\%$ から $86$–$96\%$ へ改善。 - oracle planner(simulator は既知だが結果は未知)の $14$–$23\%$ に対し hindsight planning で $35$–$69\%$ を達成。

3. 技術・手法の肝は?

- 鍵は natura non facit saltus(自然は跳躍しない)という力学の性質。 - 行動と外乱が別々の力として作用するとき、その相互作用は時間に関して二次。 - よって counterfactual 結果は一次近似で「観測結果+代替行動と事実行動に対する world model 予測の差」で得られる。 - 継続時間 $h$ の遷移に対し、外乱分散に対する $O(h^2)$ の誤差上界を証明。 - 不連続点・座標の折れ・コマンドをスケールする外乱での失敗も特徴づけ。

4. どうやって有効だと検証した?

- frozen DINOv2 と MAE encoder 上の JEPA world model で画素から予測を検証。 - 4つの rendered simulator で counterfactual $R^2$ が $38$–$46\%$ から $86$–$96\%$ に改善。 - 5つ目(underwater vehicle)では16倍の事実データで $90$–$94\%$ に到達。 - 追加の frozen encoder(DINOv3, SigLIP 2, CLIP, EVA-02)でも同一 simulator で $81$–$95\%$。 - hindsight planning で目標到達行動を $35$–$69\%$ の事象で発見。

5. 議論はある?

- 不連続点、座標の折れ、コマンドをスケールする外乱では失敗することを理論的に特徴づけ。 - 一次近似に基づくため、$O(h^2)$ の誤差上界と整合する minimax 下界が存在。 - 事実データのみからの unpaired 設定における限界を明示。 - 実システムへの適用範囲や、より高次の補正の必要性は要旨からは不明。

6. 次に読むべき論文は?

- 本論文が比較・参照する oracle planner および JEPA world model 関連研究。 - 使用された frozen encoder:DINOv2, MAE, DINOv3, SigLIP 2, CLIP, EVA-02。 - 関連する定番として world model(例:Dreamer 系)や counterfactual reasoning の研究。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Randall Balestriero, Yann LeCun, Kerda Varaku

分類: cs.LG, cs.AI, cs.CV, cs.RO, stat.ML

原文アブストラクト

World models operate in a world they cannot fully observe. When a hidden disturbance, such as a current pushing a boat, changes the outcome of an action, a counterfactual question follows: what would have happened under a different action, subject to the same disturbance? Its answer separates bad decisions from bad luck. We prove that world models trained on factual transitions cannot answer it on their own, whatever their data or capacity. For many physical systems, the observed outcome and a simple property of the dynamics suffice: natura non facit saltus, nature makes no leaps. When actions and disturbances act as separate forces, their interaction is second-order in time, so the counterfactual outcome is, to first order, the observed outcome plus the difference between the world model's predictions under the alternative and factual actions. This yields a counterfactual world model with no counterfactual data, extra parameters, or retraining. For transitions of duration $h$, we prove an $O(h^2)$ bound on the counterfactual error relative to the disturbance variance, establish a matching minimax lower bound from unpaired factual data, and characterize failures at discontinuities, coordinate folds, and disturbances that scale the command. We validate these predictions from pixels with JEPA world models on frozen DINOv2 and masked autoencoder (MAE) encoders. On four rendered simulators, our approach improves counterfactual $R^2$ from $38$--$46\%$ to $86$--$96\%$ with the same world models; on a fifth, an underwater vehicle, it reaches $90$--$94\%$ with sixteen times more factual data. Four further frozen encoders, DINOv3, SigLIP~2, CLIP and EVA-02, give $81$--$95\%$ on the same simulators. In hindsight planning, it finds the action that would have reached the goal in $35$--$69\%$ of events, against $14$--$23\%$ for an oracle planner that knows the simulator but not the outcome.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI