日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

モデルベース計画arXiv:2611.25415

停滞の正体:JEPAプランナーの行き詰まり診断と対策

Stuck in Place: Stall Diagnosis and Remedies for JEPA Planners

シェア:XThreadsFacebookLINEはてブBluesky

JEPA世界モデルによるプランニングの失敗の大半は物体が動かない「停滞」であり、予測誤差の記憶や再初期化でその固定点を破る手法Unstickを提案した。

詳しい要約

1. どんなもの?

- JEPA (Joint-embedding predictive architecture) の world model を用いた model predictive control による pixel からの planning の失敗を分析した研究。 - 失敗の大半が stall(物体が動かないのに model は進捗を予測する状態)であることを示す。 - これを解消する Unstick を提案する。

2. 先行研究と比べてどこがすごい?

- 従来の test-time adaptation は失敗を distribution shift 下の model error に帰属し、episode 上で重みを更新していた。 - 本研究はその帰属を planning loop 自体に対して検証し、distribution shift の有無にかかわらず失敗の少なくとも 96% が stall であることを示した点が新しい。 - 失敗の原因を model error ではなく planning loop の fixed point として捉え直した。

3. 技術・手法の肝は?

- 実行された planning loop を pushing タスクで追跡し、stall を診断する。 - Unstick は deployment 前の on-policy fine-tuning と、fixed-weight の loop breaker を組み合わせる。 - loop breaker は episode の prediction error の residual memory、または replan ごとの random re-initialization を用いる。 - warm-started gradient-descent (GD) planner が同一 plan を返す fixed point を破る仕組み。

4. どうやって有効だと検証した?

- pushing タスク上で distribution shift の有無を含む設定で planning loop を追跡し、失敗の 96% 以上が stall であることを確認。 - GD と組み合わせた Unstick は、memory により pushing タスクで adaptation gain の大半を回復。 - re-initialization では shape shift で大半を回復するが、visual shift では回復が限定的。

5. 議論はある?

- GD 下で planner を制限する要因の大きな部分は planning loop の fixed point であり、distribution shift の有無にかかわらず存在する。 - fixed weight の planner でもこの fixed point を破れることを示唆。 - re-initialization は visual shift での回復が乏しく、shift の種類による差が議論点。

6. 次に読むべき論文は?

- 要旨で参照/比較されている test-time adaptation および JEPA world model を用いた model predictive control の研究。 - warm-started gradient-descent planner に関する planning 研究。 - 同分野の定番として model-based reinforcement learning や world model ベースの planning 手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junhyeok Lee, Dongheon Lee, Kyu Sung Choi

分類: cs.RO

原文アブストラクト

Joint-embedding predictive architecture (JEPA) world models plan from pixels with model predictive control, yet often fail on tasks their model should handle. Test-time adaptation attributes such failures to model error under distribution shift and updates the weights on the current episode, without checking this attribution against the planning loop itself. We follow the executed planning loop on pushing tasks. In most settings, with and without distribution shift, nearly all failures (at least 96%) are stalls, where the object stays in place while the model predicts progress. The warm-started gradient-descent (GD) planner then returns nearly the same plan, a fixed point where the agent mostly idles. We propose Unstick, which pairs on-policy fine-tuning before deployment with a fixed-weight loop breaker: a residual memory of the episode's prediction errors or random re-initialization at every replan. With GD, Unstick recovers most of the adaptation gain on pushing tasks with the memory, and with re-initialization most of it on shape shifts but much less on visual shifts. A large part of what limits these planners under GD is thus a fixed point of the planning loop, present with and without distribution shift, which a planner with fixed weights can break. Code is available at https://github.com/jhlee0619/unstick.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収
  5. 5NVIDIA、SC26で科学研究向けAIエージェントとHPC基盤を発表新製品・発表

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI