NextLat、Transformerに世界モデル学習の帰納バイアスを注入 推論を最大3.3倍高速化

何が起きたか

arxiv.orgに2025年11月8日付で掲載された論文「Next-Latent Prediction Transformers Learn Compact World Models」において、NextLatと呼ばれる新たな学習手法が発表された。NextLatはTransformerの標準的な次トークン予測に、潜在空間での自己教師あり予測を追加する補助目的関数を導入する。これにより、Transformerはアーキテクチャや並列学習効率、推論を変えずに、コンパクトな内部世界モデルを学習できるとされる。

詳細

NextLatは、Transformerが次トークン予測に加えて、次の潜在状態を予測するように訓練される。理論的には、これらの潜在表現は信念状態（履歴の圧縮情報）へ収束することが証明されている。実験では、世界モデリング、推論、計画、言語モデリングの各ベンチマークで、標準的な次トークン予測や他のベースラインと比較して、下流精度、表現圧縮、先読み計画において有意な改善が見られた。さらに、NextLatは可変長の自己投機的復号を可能にし、言語モデリングで推論を最大3.3倍高速化する。コードはGitHubで公開されている。

Key Facts

本紙の見方

今回の提案は、Transformerの学習方法に着目した点で新規性がある。標準的な次トークン予測は、系列長に応じてメモリが成長し、過去のトークンへのアドホックな参照に依存するため、履歴をコンパクトな潜在状態に圧縮するインセンティブが弱い。NextLatは、潜在空間での予測を課すことで、Transformerにリカレントな帰納バイアスを注入し、世界モデルの形成を促す。これは、アーキテクチャを変更せずに、学習目的を拡張するだけで実現できる点で実用的である。 本紙の過去報道との接続は、関連記事が提供されていないため直接の言及は避けるが、Transformerの効率化や世界モデル学習はAI分野の主要な研究テーマであり、本手法はその流れに位置づけられる。特に、推論の高速化は実運用上の課題に対する貢献であり、言語モデルのデプロイコスト削減につながる可能性がある。 業界構造への含意としては、学習手法の改善はモデルアーキテクチャの改良と比較して、既存のインフラを大きく変えずに適用できるため、AI企業にとって導入障壁が低い。また、世界モデルの学習はロボティクスやシミュレーション分野での応用が期待され、フィジカルAIの進展に寄与する可能性がある。 未確定の論点としては、NextLatの効果がモデル規模やデータセットの種類に依存するかどうか、また、実際のプロダクション環境での推論高速化が理論値通りに達成されるかが挙げられる。さらに、潜在表現の解釈可能性や、他のタスクへの汎用性についても追加の検証が必要である。

なぜ重要か

NextLatは、Transformerの学習方法を変えるだけで、世界モデルの獲得と推論の高速化を同時に実現する可能性を示した。これは、大規模言語モデルの効率的な推論と、より汎用的なAIシステムの構築に向けた一歩となる。