トークン対応付けで世界モデルの長期一貫性を改善 ソウル大チームが新手法

何が起きたか

ソウル大学の研究チームは2026年5月15日、トークン型トランスフォーマー世界モデルのための新しいデコーディング手法「Identifiable Token Correspondence (ITC)」をarXivで公開した。ITCは次フレーム予測を潜在トークン対応変数を用いた構造化割当問題として定式化し、各次フレームのトークンを前フレームからのコピーか新規生成かで説明する。実験ではCraftax-classicベンチマークでリターン72.5%、スコア35.6%を達成し、従来の最高値67.4%と27.9%を上回った。

詳細

ITCは、トークン型トランスフォーマー世界モデルのデコーディングステップに追加できる手法で、アーキテクチャや学習手順は変更しない。次フレーム予測を、前フレームのトークンをコピーするか新規生成するかの潜在変数を持つ構造化割当問題として扱う。これにより、長期的なロールアウトで発生するオブジェクトの重複、消失、変質といった時間的不整合を軽減する。実験は4つのベンチマークで行われ、Craftax-classicではリターン72.5%、スコア35.6%を達成し、従来の最高値67.4%と27.9%を上回った。ソースコードはGitHubで公開されている。

Key Facts

本紙の見方

今回の発表は、視覚強化学習におけるトークン型トランスフォーマー世界モデルの長期的な時間的一貫性という課題に、デコーディング手法の改良で取り組んだ点が新しい。従来の手法は次フレーム予測を純粋なトークン生成問題として扱い、トークンの時間的持続性を考慮していなかった。ITCはこの問題を構造化割当問題として再定式化し、前フレームからのコピーと新規生成を明示的に区別することで、オブジェクトの重複や消失といった不整合を軽減する。アーキテクチャや学習手順を変更しないため、既存のバックボーンに容易に統合できる実用的な手法である。 本紙の過去報道との接続は、関連記事が提供されていないため直接の言及はできないが、世界モデル研究の文脈では、トークン化とトランスフォーマーの組み合わせが主流となる中で、時間的一貫性の確保が重要な課題として認識されている。ITCはその課題に対する一つの解決策を示しており、今後の世界モデル研究の方向性に影響を与える可能性がある。 業界構造への含意としては、視覚強化学習やロボティクス分野での世界モデルの実用化に向けて、長期予測の信頼性向上が進むことが期待される。特に、シミュレーション環境での学習から実環境への転移を考える際、時間的一貫性は重要な要素であり、ITCのような手法がそのギャップを埋める一助となるかもしれない。ただし、今回の実験はベンチマーク環境に限定されており、実環境での有効性は未検証である。 未確定の論点としては、ITCが実際のロボット制御や複雑な環境でどの程度の性能を発揮するか、また計算コストやスケーラビリティがどの程度かが挙げられる。さらに、ITCが他の世界モデルアーキテクチャと組み合わせた場合の汎用性も確認が必要である。今後の研究では、より多様なベンチマークや実環境での評価が待たれる。

なぜ重要か

世界モデルは視覚強化学習やロボティクスにおいて重要な役割を果たすが、長期予測の不安定性が実用化の障壁となっていた。ITCはデコーディング手法の改良という軽量なアプローチでこの問題に取り組み、ベンチマークで顕著な改善を示した。これは、世界モデルの信頼性向上に寄与し、将来の応用範囲を広げる可能性がある。