ビデオワールドモデルのためのアドレス可能なメモリ

本論文は、インタラクティブなビデオワールドモデルにおける視覚的永続性（visual persistence）の問題を扱う。これらのモデルは、Key-Value (KV) cacheを成長する視覚的メモリとして使用し、以前に生成されたフレームを保持する。しかし、ロールアウトがトレーニング期間を超えると、モデルは保存されたコンテンツを確実にアドレス指定できなくなる。これは、時間的Rotary Positional Embeddings (RoPE)のオフセットがトレーニングで見られた範囲外になり、モデルが注意機構を通じて関連する視覚情報を取得するのに苦労するためである。さらに、RoPE回転空間でキャッシュを単純に圧縮すると、互換性のない位置位相を平均化することでメモリが破損する。この問題に対処するため、長期的な視覚的永続性のためのトレーニング不要のメモリフレームワークであるWorldTraceを提案する。

先行研究では、KV cacheをそのまま使用するか、単純な圧縮手法を用いていたが、トレーニング期間を超えるとアドレス指定が失敗し、圧縮によってメモリが破損する問題があった。WorldTraceは、圧縮されたメモリスロットに個別の分布内仮想位置を割り当てることで、アドレス可能性を維持する。さらに、圧縮手法としてWorldTrace-Field（時間的コヒーレンス用）とWorldTrace-Landmark（エピソード的想起用）の2つを提案し、それぞれの目的に特化した圧縮を実現している点が新しい。

WorldTraceは、トレーニング不要のメモリフレームワークである。圧縮されたメモリスロットに、分布内の仮想位置を割り当てることで、RoPEのオフセットがトレーニング範囲内に収まるようにする。これにより、注意機構がスロットを正しくアドレス指定できる。圧縮手法として、WorldTrace-Fieldは履歴を圧縮して時間的コヒーレンスを向上させ、WorldTrace-Landmarkは検出された遷移で逐語的なシーントレースを保存してエピソード的想起を実現する。

LoopBenchというベンチマークを導入し、圧縮されたキャッシュが長い迂回の後に以前訪れたシーンを再構築できるかを評価した。その結果、WorldTrace-Fieldは時間的一貫性を+15.5%向上させ、WorldTrace-Landmarkはエピソード的想起を+19.5%向上させた。これにより、再トレーニングなしで視覚的永続的な生成を拡張できることを示した。

要旨からは、議論の詳細は不明である。ただし、提案手法はトレーニング不要であり、既存のモデルに適用可能であるが、圧縮による情報損失の可能性や、より長いロールアウトでのスケーラビリティ、異なるモデルアーキテクチャへの適用性などが議論の対象となる可能性がある。

要旨で参照されている研究は明示されていないが、関連する分野として、ビデオワールドモデル、Key-Value cache、Rotary Positional Embeddings (RoPE)、視覚的永続性、メモリ圧縮に関する研究が挙げられる。具体的には、Transformerベースのビデオ生成モデルや、長期依存関係を扱うメモリ機構に関する論文が関連する。