DSReg: 再構成なしで個々の世界潜在変数を証明可能に復元

- 非線形ICAや辞書学習、因果表現学習などの手法は、再構成や補助監督、非ガウス性などの分布的非対称性を利用して世界の個々の潜在変数を復元する。 - これらのアンカーがない手法（JEPAなど）は、潜在状態を線形変換までしか同定できず、個々の潜在変数は混合したままである。 - 本研究は、再構成もデコーダもラベルもなしに個々の世界潜在変数を証明可能に復元するDSRegを提案する。 - 鍵となる条件はStructural Diversity（構造的多様性）で、異なる潜在変数が観測に異なる依存性の足跡を残すことである。 - LeJEPAが提供する線形同定性に基づき、Structural Diversityの下でDSRegが符号付き置換まで個々の潜在変数を復元することを証明する。 - 任意の線形同定表現に事後適用でき、訓練済みチェックポイントを再利用可能で、共同訓練に対する損失がない。 - 初の完全に同定可能なJEPAを確立し、すべての世界潜在変数を復元する。

- 従来の同定可能な潜在変数モデルは、再構成、補助監督、非ガウス性などの分布的非対称性を必要とした。 - JEPAなどのアンカーなし手法は線形変換までしか同定できず、個々の潜在変数は混合したままであった。 - DSRegは再構成もデコーダもラベルもなしに個々の潜在変数を復元する点で画期的である。 - Structural Diversityは依存性の足跡に関する条件であり、従来の同定可能な潜在変数モデルのすべての構造条件よりも厳密に弱い。 - これにより、より広いクラスのモデルに適用可能となる。

- 鍵となる条件はStructural Diversity：異なる潜在変数が観測に異なる依存性の足跡を残すこと。 - LeJEPAが提供する線形同定性を基盤とし、その上でDSReg（Dependency-Sparsity Regularization）を適用する。 - DSRegは依存性のスパース性を正則化することで、線形同定された表現から個々の潜在変数を符号付き置換まで復元する。 - 再構成やデコーダを必要とせず、任意の線形同定表現に事後適用可能。 - 訓練済みチェックポイントを再利用でき、共同訓練と比べて損失がない。

- 合成レジーム、世界モデルプローブ、学習済み視覚エンコーダ、外部レンダラーにわたって検証。 - DSRegは密な予測を保持しつつ、個々の潜在変数の復元と下流利用をスケールとともに改善する。 - 具体的な評価指標やベースラインとの比較数値は要旨からは不明。

- Structural Diversityは依存性の足跡に関する条件であり、従来の構造条件よりも厳密に弱い。 - これにより、より一般的な設定での同定性が可能になる。 - 再構成やデコーダなしで個々の潜在変数を復元できることの理論的保証が示された。 - 限界や今後の課題については要旨からは不明。

- LeJEPA（線形同定性を提供する手法） - 非線形ICA、辞書学習、因果表現学習などの従来の同定可能潜在変数モデル - JEPA（Joint-Embedding Predictive Architectures） - これらの関連手法を比較・参照している。