日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
ワールドモデルarXiv:2610.30125

テストシーンごとに物理特性を文脈内校正するワールドモデル

PhysiCalWorld: In-Context Physics Calibration for World Models

シェア:XThreadsFacebookLINEはてブBluesky

テストシーン内での探索的インタラクションを物理記述トークンに符号化し、ファインチューニングなしでアクション条件付きワールドモデルをその場の物理ダイナミクスに校正する手法を提案。

詳しい要約

1. どんなもの？

- アクション条件付き world model を、テストシーンごとの物理特性に in-context で適応させる手法 PhysiCalWorld の提案。 - 現在の視覚フレームや短い履歴では観測しにくい質量分布・joint damping・surface friction などを較正する。 - fine-tuning や解析的物理モデリングを行わず、テストシーン内の探索的インタラクションを利用する。

2. 先行研究と比べてどこがすごい？

- 既存 world model は現フレームや狭い履歴のみでシーンを認識し、物理特性を較正しないため、新規テストシーンで empirical prior に回帰し drift が生じる。 - PhysiCalWorld は instance-specific dynamics に in-context で適応し、fine-tuning 不要でこれを緩和する。 - 推論時に descriptor token を一度抽出すれば再利用でき、計算 overhead は無視できる程度。

3. 技術・手法の肝は？

- テストシーン内で収集した exploratory interaction clip を compact な physics descriptor token に符号化する。 - この token が以降の予測をシーンの実際の物理挙動に接地させる。 - 学習は physics label なしの latent prediction loss のみで end-to-end。 - 推論時は descriptor token を一度抽出し、複数 rollout で再利用する。

4. どうやって有効だと検証した？

- 多様な物理変動を含む4つの環境で評価。 - rollout prediction accuracy と visual planning success rate が大幅に改善することを示す。 - 学習した descriptor が物理的に構造化された latent space を形成し、学習時の物理範囲を超えて汎化することも確認。

5. 議論はある？

- 学習した descriptor が物理的に構造化された latent space を形成し、学習時の物理範囲外へ汎化する点が示唆される。 - 一方、限界や失敗ケース、探索的インタラクション収集のコストなどは要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照・比較されている個別研究は不明。 - 関連手法として action-conditioned world model、in-context learning、latent dynamics model、visual planning の代表的文献を次に読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yunhao Luo, Wentao He, Yinpei Dai, Hyelin Nam, Hongze Fu, Joyce Chai, Nima Fazeli, Jeong Joon Park

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Existing world models typically perceive a scene through current visual frame or a narrow history window. However, these observations may not reveal the physics properties that determine transition dynamics, such as an object's mass distribution, joint damping, or surface friction. Without calibrating these physics factors for world models, predictions tend to regress toward an empirical prior and induce severe drift in novel test scenes. To this end, we propose PhysiCalWorld, which calibrates action-conditioned world models to the instance-specific dynamics via in-context prompting, without fine-tuning or analytical physics modeling. Our method encodes an exploratory interaction clip collected within the test scene into a compact physics descriptor token, which grounds subsequent predictions in the scene's actual physical behavior. PhysiCalWorld is trained end-to-end with the latent prediction loss alone, without physics labels. At inference time, the descriptor token is extracted once and can be reused across rollouts with negligible compute overhead. We evaluate PhysiCalWorld across four environments covering diverse physics variations and show that it substantially improves rollout prediction accuracy and visual planning success rate. The learned descriptors also form a physically structured latent space and generalize beyond the physics ranges seen during training.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI