基盤モデルから行動表現を抽出するOnlyAct：ワールドモデルに向けて

- 動画ベースの world model 構築に向け、frame pair から action representation を抽出する手法 OnlyAct を提案する研究。 - ゼロから action encoder を学習するのではなく、大規模動画で事前学習済みの foundation model（V-JEPA 2）の埋め込みを出発点とする。 - 目的は frame pair の埋め込みから action（動き）を抽出しつつ scene（背景・場面）を捨てること。 - label-free の contrastive adaptation により事前学習空間の幾何を再形成する。 - robot manipulation、camera navigation、game、driving の benchmark で評価する枠組みを提示する。

- 従来の一般的な回避策は action encoder と次フレーム再構成 decoder を同時学習する latent action 手法で、latent に新規情報のみを担わせる。 - この手法には (1) action space をゼロから学ぶため未見 domain への generalization が制限されうる、(2) bottleneck が表現力と分離のトレードオフになり、厳しすぎるとニュアンスを失い緩すぎると domain shift 下で scene leakage を招く、という課題がある。 - OnlyAct は再構成 bottleneck を課さず、大規模多様動画の事前学習で frame pair 埋め込みが既に action 情報を持つ点を活用する。 - annotation-free な latent-action 手法と比較して scene invariance は同等水準を保ちつつ表現力が大幅に高いと報告する。 - さらに実演 action を新規 scene へより忠実に転移する world model が得られると主張する。

- 出発点として pretrained foundation model の V-JEPA 2 を用い、frame pair の埋め込みを利用する。 - 課題を action を抽出し scene を捨てることと定式化する。 - label-free の contrastive adaptation framework を提案する。 - 異なる scene で同じ motion を共有する frame pair を引き寄せる（pull together）。 - 同じ scene で異なる motion の pair を押し離す（push apart）。 - これにより再構成 bottleneck なしに事前学習空間の幾何を再形成する。 - 学習に action label を必要としない点が特徴。

- 3軸の統一評価プロトコルを導入する：action expressiveness、scene invariance、action-conditioned video generation quality。 - 評価対象の benchmark は robot manipulation、camera navigation、game、driving。 - これらの多くは adaptation 時に未見（unseen）であると述べる。 - annotation-free な latent-action 手法と比較し、表現力が大幅に高く scene invariance は同等であることを示す。 - 実演 action を新規 scene へより忠実に転移する world model が得られることを確認する。 - 個々の benchmark 名や定量指標の詳細は要旨からは不明。

- 再構成 bottleneck を避ける設計により表現力と分離のトレードオフを緩和できると論じる。 - ゼロから action を学ぶのではなく foundation model の事前学習知識を出発点にする利点を主張する。 - 未見 domain への generalization と scene leakage の抑制が主要な論点。 - 一方 adaptation に用いる frame pair の motion 同一性をどう判定するかなど contrastive 構築の詳細や限界は要旨からは不明。 - 評価は4領域にわたり多くが adaptation 時に未見である点を強調するが、失敗事例や計算コストの議論は要旨からは不明。

- 出発点として用いる V-JEPA 2（foundation model の video embedding 手法）。 - 比較対象である annotation-free な latent-action 手法（action encoder と再構成 decoder を同時学習する系統）。 - 関連する world model 研究として action-conditioned video generation の手法。 - 評価領域に関連する robot manipulation、camera navigation、game、driving の benchmark 論文。 - 具体的な論文名・著者名は要旨に明示されていないため、上記は一般名・手法名レベルでの参照。