遮蔽をマスキングとして扱う動画アモーダルセグメンテーション

- 本論文は **OccJEPA (Occlusion-as-masking JEPA)** という amodal video segmentation の手法を提案する。 - 各フレームで対象物体の完全なマスク(他物体に隠れた部分を含む)を推定するタスクを扱う。 - 遮蔽(occlusion)を masking とみなし、JEPA 系の自己教師あり video world model を活用する。 - 出力は決定的(deterministic)であり、拡散モデルベース手法のようなサンプリングごとのばらつきがない。

- 先行の最先端手法は fine-tuned video diffusion models を用い、多くの denoising steps と追加の depth network を必要とし、サンプルごとに異なる答えを返す。 - OccJEPA はこれに対し、決定的かつ **33.5x faster** と報告されている。 - 精度面でも SAIL-VOS、TAO-Amodal(held-out test split で **+4.00 AP50** を含む)、SAM2 で追跡した visible masks、Kubric でより高精度と主張する。

- 遮蔽を masking として扱う点が肝。 - 物体の visible mask が覆わない token を drop する。 - 事前学習済み **V-JEPA 2.1** predictor がそれらを埋める。 - 軽量な head が観測特徴と予測特徴を amodal masks にデコードする。 - 制御実験により、性能向上は predictor の容量ではなく **事前学習済み重み** に由来すると分析。 - 87M から 1.85B パラメータの world models で検証。

- **SAIL-VOS**、**TAO-Amodal**(held-out test split を含む)、**Kubric** で評価。 - TAO-Amodal では **+4.00 AP50** を報告。 - visible masks は **SAM2** で追跡したものを使用。 - 制御実験で、87M〜1.85B パラメータの world models を比較し、利得が事前学習済み重みに起因することを示す。

- 要旨からは不明。 - 限界や失敗ケース、masking 戦略の感度、SAM2 追跡品質への依存性などについての議論は要旨に記載がない。

- **V-JEPA 2.1**(事前学習済み predictor の基盤)。 - **SAM2**(visible masks の追跡に使用)。 - 比較対象の diffusion-based state of the art(具体的な論文名は要旨からは不明)。 - 評価データセット: **SAIL-VOS**、**TAO-Amodal**、**Kubric**。