SWIM: 行動から重要な状態を学習するJEPA世界モデル

- JEPA（Joint-embedding predictive architecture）型の world model において、latent space にタスク関連の物理状態をより確実に反映させるための状態重み付け手法 SWIM（State Weighting with Inverse-Dynamics Model）を提案する研究。 - offline trajectories から状態特徴の重みを学習し、その重み付き状態距離を用いて latent と state の距離を整合させる state-supervised training を行う。 - 学習後の world model は画像から計画でき、計画時に追加計算を要さない。

- 従来の JEPA の visual prediction objective はタスク関連状態を明示的に取り込まず、タスク進捗を決める物理状態が latent に確実に捉えられない可能性があった。 - simulator state による supervision は有効だが、どの状態特徴が重要かの選択が課題で、手動選択や均一重み付けでは冗長座標が同一変動を過大評価し、無関係特徴がタスク関連差を覆い隠しうる。 - SWIM は重みを offline trajectories から学習し、均一な state weighting と比べて5つの simulated robotic manipulation tasks で planning success を一貫して改善。

- inverse-dynamics model を用い、現在状態と観測された future displacements から記録済み action を予測するように学習し、その予測への各特徴の寄与を状態重みとして獲得。 - 学習された重みで weighted state metric を定義し、state-supervised training において latent 距離と状態距離を整合させる。 - inverse-dynamics model は訓練時のみ使用し、計画時には画像からの planning のみで追加計算なし。

- 5つの simulated robotic manipulation tasks において、uniform state weighting と比較して planning success が一貫して改善することを示した。 - 具体的なタスク名・指標の詳細・比較条件は要旨からは不明。

- 均一重み付けの問題（冗長座標の過大評価、無関係特徴によるタスク関連差の遮蔽）を動機としており、学習された重みが action prediction への寄与を定量化する点を主張。 - inverse-dynamics model を訓練時のみ用いるため計画時コストが増えない点を利点として述べる。 - 限界・失敗事例・重みの解釈性・sim-to-real 等の議論は要旨からは不明。

- JEPA 系 world model（Joint-embedding predictive architecture）の元論文。 - inverse-dynamics model を用いた表現学習・action prediction 関連手法。 - state-supervised world model / latent と state の整合を図る手法。 - offline trajectories からの特徴重み付け・feature selection 関連研究。 - simulated robotic manipulation における planning ベンチマーク。