エネルギーベースモデルから見る機械学習の統一的理解

- 本論文は、Energy-based models (EBMs) を単なる一モデル族ではなく、機械学習全体を統一的に捉えるためのレンズとして提示するチュートリアルである。 - EBM はスカラー energy により分布を p_θ(x) ∝ exp(-E_θ(x)) と定義する。 - 任意の EBM は (1) energy（モデルが何を表現するか）、(2) inference procedure（energy からのサンプリング/最適化）、(3) learning method（energy をデータに適合させる方法）の3つの選択で規定される。 - これらの部品を解説し、様々な機械学習手法がこの3つの選択の違いとして整理できることを示す。

- 従来、EBMs は数あるモデル族の一つとして提示されることが多かったのに対し、本チュートリアルは EBMs を機械学習の異なる側面を結びつける単一のレンズとして用いる点が特徴的である。 - 識別モデル、GANs、normalizing flows、diffusion、autoregressive models、contrastive learning、word2vec、BERT、denoising auto-encoders、diffusion representations、強化学習（EBM policies と world models）、inverse reinforcement learning、planning、verifier を用いた inference-time computation などを、すべて EBM の3つの選択の違いとして統一的に説明する。 - この視点により既存手法を説明・整理できるだけでなく、一部の部品を置き換えることで新アルゴリズムを提案できる。

- EBM の3要素である energy、inference procedure、learning method を順に定式化する。 - inference としては sampling と variational inference を扱う。 - learning としては maximum likelihood、noise contrastive estimation、pseudolikelihood、score matching、adversarial training を扱い、これらの学習法が共通の contrastive structure を共有することを示す。 - 多くの手法の違いは、主に partition function と sampling の扱い方にあると整理する。 - 学習済みモデルを推論時に組み合わせる原理的な方法として composition of energies を提示する。

- 要旨からは不明。本論文はチュートリアルであり、実験による定量的検証ではなく、既存手法を共通フレームワークで説明・整理する理論的・概念的な提示が中心と見られる。

- 要旨からは不明。ただし、EBM の視点が既存手法の説明・整理に留まらず、部品の置き換えによる新アルゴリズムの示唆や、inference time における energy の合成によるモデル結合の可能性を議論している。

- 要旨で参照/比較されている手法・概念：GANs、normalizing flows、diffusion models、autoregressive models、contrastive learning、word2vec、BERT、denoising auto-encoders、diffusion representations、EBM policies、world models、inverse reinforcement learning、planning、verifiers。 - 学習法として：maximum likelihood、noise contrastive estimation、pseudolikelihood、score matching、adversarial training。 - 推論として：sampling、variational inference。 - これら個別手法の原論文や、EBM と各分野の関連を論じたサーベイを次に読むべき候補として挙げる。