EndoWorld-JEPA：内視鏡動画表現学習のための運動誘導型グローバル・ローカル潜在世界モデリング

- 内視鏡動画の汎用表現学習のための事前学習フレームワーク。 - 受動的な内視鏡動画の事前学習を、causal motion-guided latent-state prediction として再定式化。 - 記録された action・calibrated pose・robot kinematics の代わりに、現在までの観測運動を条件として次 latent state を予測。 - 著者らの知る限り、汎用内視鏡動画表現学習向けの初の latent world-model 事前学習フレームワーク。

- 既存の事前学習法はカメラ変位・変形組織・器具相互作用による状態遷移(ダイナミクス)を暗黙的に扱うのみ。 - action-conditioned joint-embedding predictive world model に着想を得て、action の代わりに観測運動を条件とする点が新しい。 - 内視鏡 optical flow が共有の image-plane displacement と局所 residual motion の両方を含むという観察に基づき、動きを明示的に分離して活用。 - 単一の共通 pre-trained checkpoint で4つの downstream benchmark に強い転移を示す。

- Optical Motion-guided module が dominant displacement と residual motion を分離し、ordered temporal motion condition と spatial local-motion weights に変換。 - 相補的な global predictor と motion-local predictor を使用。temporal condition は両方の latent transition を変調。 - local weights は auxiliary motion-local state を定義し、予測を scene-level evolution から spatially selective dynamics へ拡張。 - patch-wise motion weighting で局所変化を強調しつつ解剖学的文脈を保持。 - past-motion-window dropout で motion condition 全体をランダムに隠し、信頼できない運動への依存を低減。…

- 4つの downstream benchmark で評価。 - 共通の pre-trained checkpoint が強い転移性能を示すことを確認。 - これにより motion-guided global-local latent prediction が内視鏡動画の有効な事前学習パラダイムであることを支持。 - 個々の benchmark 名や定量指標の詳細は要旨からは不明。

- 運動条件が信頼できない場合への対処として past-motion-window dropout を導入し依存を低減。 - 確率的な appearance artifact を再構成しない設計の妥当性が示唆される。 - ただし限界・失敗事例・計算コスト・他モダリティへの一般化については要旨からは不明。

- action-conditioned joint-embedding predictive world model(JEPA 系)の原論文。 - 内視鏡 optical flow や motion 分離に関する研究。 - 内視鏡動画の自己教師あり事前学習(例: video masked autoencoder 系)との比較論文。 - 具体的な参照論文名は要旨からは不明。