WorldCycle: 自己検証型強化学習で長期的ビデオ世界モデルの誤差を低減

何が起きたか

arXivに2026年8月5日付で公開された論文「WorldCycle: Self-Verifiable Reinforcement Learning for Long-Horizon Video World Models」において、研究チームは自己検証型強化学習フレームワーク「WorldCycle」を提案した。この手法は、可逆的なアクションサイクルを利用して、長期的なビデオ世界モデルの誤差蓄積を軽減する。実験では、状態復帰ドリフトを最大44%削減し、複合アクション精度をベースモデル比で約4倍向上させたと報告している。

詳細

ビデオ世界モデルは長期的な計画や探索に不可欠だが、複合誤差に悩まされる。強化学習などの後処理手法は改善に有効だが、任意のアクションシーケンスに対して真の未来状態が存在しないため、検証が困難というボトルネックがあった。WorldCycleの核心は、可逆的なアクションサイクルにより検証を可能にした点にある。シーケンスとその逆シーケンスを組み合わせることで、解析的に初期状態に戻ることを利用し、長期的な正確性に関するアノテーション不要の教師信号を得る。 WorldCycleは、通常のアクションシーケンスから閉じたアクションサイクルとその反復実行を構築し、2つの相補的な報酬を最適化する。空間的閉包報酬は、鏡像化された順方向と逆方向のセグメント間の対称性を強制し、時間的一貫性報酬は、繰り返されるサイクル実行間で状態を整合させる。これにより、モデルは記憶された時間パターンではなく、一貫した状態オペレーターとしてアクションを学習する。さらに、ベースモデルが苦手とする分布外の複合アクションサイクルにも自然に拡張できる。 また、複雑なアクション構造下での状態復帰能力を診断するベンチマーク「CycleBench」も公開された。

Key Facts

なぜ重要か

WorldCycleは、長期的なビデオ世界モデルの検証ボトルネックを解決する新しい手法を提供する。物理的に接地された世界モデルの基盤として重要であり、ロボットや自律エージェントの長期的な計画・探索能力の向上に寄与する可能性がある。