何が起きたか
arXivは2026年11月10日、動画世界モデル向けの行動表現を扱う論文「OnlyAct: Extracting Action Representations from Foundation Models for World Models」を掲載した。著者らは、事前学習済み基盤モデルV-JEPA 2のフレーム対表現を出発点に、ラベルなしの対照学習で動作情報を取り出す枠組みを提案した。論文要旨によると、注釈不要の潜在行動手法と比べ、表現の表現力を高めながらシーン不変性を保ち、新しいシーンへの動作転移をより忠実にする世界モデルを得たという。
詳細
OnlyActは、異なるシーンにある同じ動きを含むフレーム対を近づけ、同じシーンにありながら異なる動きを含むフレーム対を遠ざける。再構成用のボトルネックを設けず、事前学習済み表現の配置を調整する設計だ。 論文は評価を「行動表現の表現力」「シーン不変性」「行動条件付き動画生成の品質」の3軸で統一し、ロボット操作、カメラナビゲーション、ゲーム、運転の各ベンチマークを用いた。要旨では、その大半が適応学習時に未見だったとしている。
Key Facts
| 論文「OnlyAct: Extracting Action Representations from Foundation Models for World Models」は2026年11月10日にarXivに掲載された。 | [1] |
| 提案手法はV-JEPA 2のフレーム対表現を起点とし、ラベルなしの対照学習で行動表現を適応させる。 | [1] |
| 評価は表現力、シーン不変性、行動条件付き動画生成品質の3軸で、ロボット操作、カメラナビゲーション、ゲーム、運転のベンチマークを対象とした。 | [1] |
| 著者らは、注釈不要の潜在行動手法に比べ、表現力が高く、シーン不変性は同等だったと報告した。 | [1] |
本紙の見方
この研究の焦点は、動画から行動表現を得る際の出発点を、フレーム再構成を通じて行動空間を一から学習する方法から、V-JEPA 2の事前学習済み表現を適応させる方法へ移した点にある。要旨によれば、既存の一般的な枠組みでは、潜在表現が次フレームの再構成に使われるため、表現の圧縮度と情報量の間にトレードオフが生じる。OnlyActは再構成ボトルネックを置かず、シーンの違いと動作の違いを対照的に学習させる。したがって新しさは、世界モデルそのものの構成ではなく、事前学習済みの動画表現から行動成分を切り分ける適応方法にあると読める。 評価設計も手法の主張に対応している。表現力とシーン不変性に加え、行動条件付き動画生成の品質を同じ枠組みで見ることで、行動表現の性質だけでなく、世界モデルに用いた場合の生成結果まで検証対象に置いた。さらに、ロボット操作、カメラナビゲーション、ゲーム、運転をまたぎ、その大半が適応時に未見のベンチマークだとする。これは、特定環境の動作だけを表す表現ではなく、異なる場面への転移を評価しようとする構成である。ただし、要旨から確認できるのは定性的な比較結果であり、性能差の数値や領域別のばらつきは示されていない。 業界構造への含意としては、ラベル付き動作データが限られ、仕様も分断されているという問題に対し、動画の事前学習資産を行動表現の学習に再利用する道筋を示したことが挙げられる。実現すれば、行動ラベルの収集・統一への依存を抑える可能性はあるが、論文要旨だけではデータ量や学習コストの削減を確認できない。また、シーン情報を除きながら動作の細部を保つことが、ロボット操作などの実環境でどこまで有効かは別途検証が要る。次に確認すべきなのは、各ベンチマークの数値結果、動作の種類や環境変化に対する失敗条件、実機での評価、そしてV-JEPA 2以外の基盤モデルにも適用できるかである。
なぜ重要か
動作ラベルの不足と仕様の不統一を課題として挙げる論文に対し、OnlyActはV-JEPA 2の動画表現をラベルなしで適応させる方法を示した。著者らの評価では、注釈不要の潜在行動手法と比べて表現力を高めつつシーン不変性を保ったとされており、異なる場面へ動作を移す世界モデルの学習に関係する。