Mastering Chess and Shogi by Self-Play

この論文は、AlphaZeroというシステムを提案した。AlphaZeroは、チェスと将棋という二つの完全情報ゲームにおいて、人間の知識や過去の棋譜を一切用いず、自己対戦による強化学習のみで、世界最強レベルのプレイヤーを獲得した。新しさは、同じアルゴリズムとハイパーパラメータで、異なるゲームに適用可能な汎用性と、わずか数時間から数十時間の学習で既存の最強プログラムを凌駕した点にある。 仕組みの核は、モンテカルロ木探索と深層ニューラルネットワークの組み合わせである。ニューラルネットワークは、盤面を入力として、勝率の見込み（価値）と、各手の選択確率（方策）を出力する。自己対戦では、現在のネットワークが互いに対局し、その結果を用いてネットワークを更新する。具体的には、木探索が各局面で有望な手を選び、その探索結果が方策の教師信号となり、対局の最終結果が価値の教師信号となる。この反復により、ネットワークは徐々に強くなる。以前のAlphaGoが人間の棋譜で事前学習していたのに対し、AlphaZeroはランダムな初期状態から始め、自己対戦のみで学習する点が革新的である。 画期的だった理由は、それまでのゲームAIが、専門家の知識や特徴量エンジニアリング、あるいは人間の棋譜に依存していたのに対し、AlphaZeroはそれらを完全に排除したことである。これにより、ドメイン知識なしで、汎用的な強化学習アルゴリズムが複雑なゲームで超人的な性能を達成できることを実証した。また、探索と学習の密接な統合により、従来の手法よりもはるかに効率的に学習が進むことを示した。 フィジカルAIへの影響は大きい。AlphaZeroの自己対戦による学習パラダイムは、ロボット制御や操作タスクに応用可能である。例えば、ロボットが自身のシミュレーション環境で自己対戦（自己模擬）を行い、試行錯誤を通じて運動計画や操作スキルを獲得する手法の基盤となる。また、ニューラルネットワークによる価値と方策の同時学習は、ロボットの行動選択におけるモデル予測制御や強化学習の枠組みに直接影響を与えた。さらに、AlphaZeroの汎用性は、ロボット基盤モデルやVLA（Vision-Language-Action）モデルの学習にも示唆を与え、タスク固有の知識に依存しない、スケーラブルな学習手法の重要性を強調している。現在のロボット学習における自己教師あり学習やシミュレーションから実機への転移の研究は、AlphaZeroの思想を継承していると言える。