何が起きたか
2026年11月18日掲載のarXiv論文「Counterfactual World Models: JEPAs That Reason About "What If"」は、隠れた外乱がある状況で、別の行動を選んでいた場合の結果を推定するJEPA世界モデルの手法を示した。4つの描画シミュレーターでは、同じ世界モデルを使い、反実仮想のR²を38〜46%から86〜96%に改善したと報告している。
詳細
手法は、観測された結果に、モデルが予測する「代替行動」と「実際の行動」の結果の差を加える。論文は、行動と外乱が別々の力として作用する物理系では、その相互作用が時間の二次の項となることを根拠に、遷移時間をhとしたときの反実仮想誤差に、外乱の分散に対するO(h²)の上界を示す。また、対応づけられていない事実データから得られる下界も示し、この手法に反実仮想データ、追加パラメーター、再学習は不要としている。 画素入力の評価では、凍結したDINOv2およびMAEエンコーダーを用いた。水中車両のシミュレーターでは、事実データを16倍多く使い、R²が90〜94%に達した。DINOv3、SigLIP 2、CLIP、EVA-02の4種類の凍結エンコーダーでも、同じシミュレーター群で81〜95%を報告した。事後計画では、目標に到達できたはずの行動を見つけた割合が35〜69%で、シミュレーターを知る一方で結果を知らないオラクル計画器の14〜23%を上回ったという。
Key Facts
| 論文は、事実の遷移データだけで学習した世界モデル単体では反実仮想の問いに答えられないと論じる。 | [1] |
| 手法は、観測結果に代替行動と実際の行動についてのモデル予測の差を加えるもので、反実仮想データ、追加パラメーター、再学習を必要としないとしている。 | [1] |
| 4つの描画シミュレーターで、反実仮想のR²は38〜46%から86〜96%に改善したと報告された。 | [1] |
| 水中車両のシミュレーターでは、事実データを16倍多く使い、反実仮想のR²は90〜94%だった。 | [1] |
| 論文は、不連続性、座標の折り返し、指令をスケールする外乱で手法が失敗する条件を特徴づけている。 | [1] |
本紙の見方
この研究の主眼は、世界モデルの規模を増やすことではなく、事実データで学んだ予測を使って「別の行動ならどうなったか」を補正する点にある。論文は、事実の遷移だけでは反実仮想を原理的に決められないとしたうえで、行動と外乱が別々に作用し、自然な物理系にある滑らかさを利用できる場合には、行動の差分から結果を近似できると示す。追加データや再学習なしという設計は、反実仮想ラベルを作りにくい実世界データを扱う際の負担を避ける可能性があるが、データ収集自体を不要にするものではない。 評価は、DINOv2やMAEなどを凍結したエンコーダーとして使い、画素からJEPA世界モデルで推定した結果である。4つの描画シミュレーターでR²が38〜46%から86〜96%へ上がり、水中車両シミュレーターでは事実データを16倍にして90〜94%だった。さらに、事後計画での目標到達行動の特定率は35〜69%とされる。ただし、これらはシミュレーター上の報告値であり、実機ロボットでの性能や、実環境の外乱に対する有効性を示す結果とは区別する必要がある。 フィジカルAIの運用では、観測された失敗が行動選択によるものか、見えない外乱によるものかを切り分けることが、行動方策の評価に関わる。この手法は、実際に選ばなかった行動の結果を推定するため、事後検証や計画に使える可能性がある一方、論文が示す理論的な誤差保証は条件付きである。行動と外乱が別々の力として働くこと、遷移が滑らかであることが鍵となり、論文自身も不連続性、座標の折り返し、指令をスケールする外乱での失敗を扱う。したがって、次に確認すべきなのは、実機でこれらの条件をどう判定するか、外乱の種類や時間幅が変わった場合に予測が保たれるか、そして実際の行動改善につながるかである。
なぜ重要か
論文の手法は、事実データから学んだ世界モデルで、観測されなかった代替行動の結果を推定し、反実仮想データの追加や再学習を避けるとしている。行動の選択と隠れた外乱を分けて評価したい計画・事後検証の課題に関係するが、論文が報告する性能はシミュレーター上のもので、適用には物理系の条件がある。
