音楽共創エージェントに「聴く力」を：階層的自己教師あり世界モデルによる理解と生成

本論文は、シンボリック音楽のための階層的自己教師あり「world model」を提案する。2.55MパラメータのSwin V2エンコーダをMIDIピアノロール画像に適用し、JEPAスタイルの目的関数（ピッチ・時間シフト等価性、マスク埋め込み予測、分布正則化）で学習する。ラベルや音楽理論の語彙を用いず、理解と生成の両方を支える内部表現を獲得する。

従来の協調音楽エージェントは、理解と生成のための内部表現が不十分か、人間の主体性を損なう可能性があった。本手法は、自己教師あり学習によりラベルなしで階層的表現を獲得し、音楽的性質のデコード可能性が時間スケールに追従することを示す。また、Representation AutoEncoderパラダイムに従い、訓練されたデコーダの代わりに条件付きフローマッチングモデルを用いることで、柔軟な生成とプロンプティングを実現する。

手法の肝は、階層的自己教師ありworld modelの構築にある。Swin V2エンコーダをMIDIピアノロール画像に適用し、JEPAスタイルの目的関数（ピッチ・時間シフト等価性、マスク埋め込み予測、分布正則化）で学習する。凍結した埋め込みをプローブすることで、音楽的性質のデコード可能性が時間スケールに応じて階層レベルで異なることを示す。また、条件付きフローマッチングモデルをデコーダとして用い、PCA削減条件付けからピクセル空間でフローする。

有効性は、複数の実験で検証された。凍結埋め込みのプロービングにより、フレーズ境界は最も粗いレベル、音符密度や和声の詳細は最も細かいレベルでデコード可能であることを示した。時間的・フレーズ構造は自己教師あり目的関数のみから出現するが、和声内容は明示的に要求される。小さなコード監視ヘッドにより、ジョイントコード回復が.18から.54に向上し、キー検出（監視なし）は.16から.70に向上した。条件付きフローマッチングは、ターゲットウィンドウをピクセルF1 0.996で再現し、マスクインペインティングも可能である。CPUで2.8秒、Apple MPSで0.6秒で提案を生成する。

議論として、和声内容は自己教師あり目的関数だけでは十分に獲得されず、小さな監視ヘッドが必要であることが挙げられる。また、キー検出は監視されていないが、コード監視により間接的に向上する。さらに、生成はピクセル空間で行われ、シンボリック音楽の離散性との整合性や、より複雑な音楽構造の生成における限界が考えられる。しかし、要旨からはこれらの詳細は不明である。

要旨で参照されている関連研究として、JEPA（Joint Embedding Predictive Architecture）、Swin Transformer、Representation AutoEncoder、flow matching、LLM-based brainなどが挙げられる。次に読むべき論文としては、これらの基盤となった論文や、音楽生成における自己教師あり学習の応用研究が考えられる。