OPIS: ビデオ世界モデルにおけるマルチオブジェクト記憶のための入力接地ベンチマーク

- ビデオ世界モデルのマルチオブジェクト記憶を評価するベンチマーク「OPIS」を提案。 - 初期観察の固定オブジェクト集合に厳密に基づき、生成履歴や参照ビデオに依存しない。 - 実世界、embodied-robotic、ゲーム世界の3ドメインから500ケース、12,672インスタンス（rigid, articulated, deformable）の密な注釈を提供。 - オブジェクト中心の評価器でObject Presence, Identity, Structureを階層的に測定。

- 既存評価は生成履歴、ビデオ参照、選択された再訪視点に依存し、真の記憶能力評価が混乱する問題があった。 - OPISは入力を厳密にアンカーとし、固定オブジェクト集合に基づくため、より信頼性の高い評価が可能。 - 8つのimage-to-videoまたはcamera-conditioned世界モデルでスコア48.65～56.01と、記憶保持の難しさを定量的に示した。

- 入力グラウンディング：初期観察の固定オブジェクトインスタンスを基準に評価。 - オブジェクト中心評価器：associationと明示的visibility reasoningを組み合わせ、Presence, Identity, Structureを階層的に測定。 - オブジェクトの運動学に基づき静的または動的評価トラックを利用。 - データセットは500ケース、12,672インスタンスに密なオブジェクトレベル注釈を付与。

- 8つのimage-to-videoまたはcamera-conditioned世界モデルを評価。 - OPISスコアは48.65から56.01の範囲。 - 参照インベントリが20未満から40超に増えると、Presence, Identity, Structureスコアが全体的に低下。 - 平均Identityスコアは40.22から23.11に低下。 - 入力の特定オブジェクトインスタンス保持が、もっともらしい視覚要素生成より難しいことを実証。

- 結果は、入力の特定オブジェクトインスタンスを保持することが、もっともらしい視覚要素を生成するより considerably harder であることを示す。 - 参照インベントリの増加に伴うスコア低下が観察され、マルチオブジェクト記憶の課題を浮き彫りに。 - その他の議論や限界については要旨からは不明。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、image-to-video世界モデル、camera-conditioned世界モデル、オブジェクト中心評価、video world modelsの記憶評価に関する研究が挙げられる。 - 同分野の定番として、video prediction、object-centric learning、benchmark for video generationの論文を読むべき。