Transformerに計画能力を持たせる新アーキテクチャCOC、arXivで発表

何が起きたか

2026年7月20日にarXivで公開された論文「Planning with Transformers: Chain of Computation and Structured Context Windows」において、著者らはTransformerベースの言語モデルを反復ループ内に配置する計算アーキテクチャ「Chain of Computation (COC)」を提案した。COCは構造化コンテキストウィンドウ(SCW)を利用し、LMが計画ポリシーの学習、世界モデルの予測、計画に必要な算術演算を行う。実験では、BlocksWorldとPancake puzzleで成功率99.89%以上を達成し、Tower of Hanoiでは最大20枚の円盤を解くことができたと報告している。

詳細

論文では、LLMが計画問題を確実に解くのに苦労する一方で、理論的にはTransformerがチューリング完全であるというギャップに着目している。COCは、TransformerベースのLMを反復ループに配置し、パターンマッチングシステムとしての強みを活用する。SCWは一定サイズのコンテキストウィンドウを提供し、各計画ステップで使用するウィンドウを選択できる。追加専用のSCW(チューリングマシンのテープに類似)を用いることで、スクラッチから訓練した比較的小規模なLMでも、各計画ドメイン内の少数の訓練インスタンスから計画ポリシーを学習し、汎化できるとしている。Tower of Hanoiの失敗ケースの分析では、算術演算や未見のトークンに起因することが明らかになった。COCは、算術の記号的サポートを用いるか、SCWに決定性プッシュダウンオートマトン(PDA)形式を用いることで、100万以上のアクションを必要とする20枚の円盤の問題を解くことができ、訓練データを大幅に削減できるとしている。

Key Facts

本紙の見方

今回の研究は、LLMの計画能力の限界を、理論上の計算能力と実証上の性能のギャップとして捉え、そのギャップを埋めるためのアーキテクチャを提案した点で新規性がある。既存の研究では、プロンプトエンジニアリングやファインチューニングで計画能力を向上させる試みが多かったが、COCはモデル自体の構造を変更し、反復ループと構造化コンテキストウィンドウを導入することで、小規模なLMでも高い計画性能を達成している。これは、計画問題に対するアプローチのパラダイムシフトを示唆する。 本紙の過去報道との接続は、関連記事が提供されていないため、直接の言及はできない。しかし、LLMの推論能力や計画能力に関する研究は急速に進展しており、今回の成果はその流れに位置づけられる。特に、Transformerのチューリング完全性という理論的性質を実用的なアーキテクチャに落とし込んだ点は、理論と実践の橋渡しとして重要である。 業界構造への含意としては、計画能力を持つLMが実現すれば、ロボット制御や自動化システム、ゲームAIなど、逐次的な意思決定を必要とする分野に大きな影響を与える可能性がある。特に、小規模なモデルで高い性能を達成できることは、計算資源の制約があるエッジデバイスでの応用を現実的にする。また、COCのアーキテクチャは、既存のTransformerベースのシステムに組み込みやすい可能性があり、サプライチェーンや物流の最適化など、計画問題を抱える産業への応用が期待される。 未確定の論点としては、COCが実世界の複雑な計画問題にどの程度スケールするかが挙げられる。論文で示されたのはベンチマーク上の結果であり、実環境でのノイズや不確実性への耐性は不明である。また、SCWの設計や算術サポートの実装方法が性能に与える影響も、さらなる検証が必要である。さらに、COCがLLMの事前学習済みモデルに適用可能かどうかも、今後の研究課題となる。

なぜ重要か

この研究は、LLMの計画能力を向上させるための新しいアーキテクチャを提案し、小規模モデルでも高い性能を達成できることを示した。これは、AIシステムが複雑な逐次的意思決定を行う能力の向上につながり、ロボティクスや自動化など幅広い分野での応用可能性を広げる。また、理論と実践のギャップを埋める研究として、今後のAI開発の方向性に影響を与える可能性がある。