日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

表現学習arXiv:2611.21596

表現崩壊の需要供給幾何学:SADL

SADL: On the Demand-Supply Geometry of Representation Collapse

シェア:XThreadsFacebookLINEはてブBluesky

JEPAにおける表現崩壊を、エンコーダが保持できる差異(供給)と射影器が要求する差異(需要)の不均衡として捉え、需要が供給を上回る時のみエンコーダに制約を加えるSADLを提案。崩壊率を50%から0%に低減した。

詳しい要約

1. どんなもの?

- JEPA (Joint-Embedding Predictive Architectures) における representation collapse を扱う研究 - projector 出力への正則化だけでは collapse を防げないことを指摘 - encoder 表現が初期化時点から入力間で共有される成分に支配される現象を分析 - 需要と供給の幾何として捉え、SADL (Supply And Demand Loss) を提案 - 制御タスク (LeWorldModel, INTACT) と画像分類で検証

2. 先行研究と比べてどこがすごい?

- 従来は projector 後の正則化で collapse を防ぐ想定だった - 本研究は batch-normalized projector が共有成分を除去するため、projector 後の正則化では encoder 側の collapse を矯正できないと示す - SADL は encoder を直接制約し、必要なときだけ制約を加える点が新しい - 補助ネットワーク・追加学習パラメータ・アーキテクチャ変更を導入しない - 複数の Demand Regularizer と併用可能

3. 技術・手法の肝は?

- SADL (Supply And Demand Loss) を提案 - projector 出力が要求する表現差 (demand) と encoder が保持・伝達できる差 (supply) を比較 - supply が demand に不足するときのみ encoder に制約を追加 - 元の学習目的は維持 - 追加のネットワークやパラメータ、アーキテクチャ変更を伴わない - 複数の Demand Regularizer と組み合わせ可能

4. どうやって有効だと検証した?

- 単一タスクおよび4タスク同時学習の LeWorldModel (LeWM) と INTACT で実験 - 10 random seeds で collapse rate を 50% から 0% に低減 - 1 epoch 後、encoder effective rank が SADL なし baseline の 3.4–6.4 倍 - latent prediction error が baseline の 1/20–1/303 に低下 - loss weight が桁をまたいでも追加調整なしで robust - 複数の Demand Regularizer で INTACT が mean search-free control success 95% 超 - 4つの画像データセットでも accuracy と stability が一貫して改善

5. 議論はある?

- representation collapse を需要と供給の幾何として定式化する視点を提示 - projector 後の正則化では encoder の共有成分を矯正できないという分析 - SADL が制御と画像分類の両方で学習を高速化・安定化 - loss weight に対する robust 性を主張 - 理論的な限界や失敗ケース、計算コストの詳細は要旨からは不明

6. 次に読むべき論文は?

- JEPA (Joint-Embedding Predictive Architectures) 関連研究 - LeWorldModel (LeWM) - INTACT - Demand Regularizer に関する研究 - batch normalization と representation collapse の関係を扱う研究 - 具体的な参照論文は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junhan Sun, Yigui Feng, Mingzhe Liu, Haoyan Xu, Lei Ye, Ziqi Han, Hanru Bai, Yanzhao Zhang, Hao Zhao, Guofeng Zhang

分類: cs.RO, cs.LG

原文アブストラクト

In Joint-Embedding Predictive Architectures (JEPAs), a well-constrained projector output does not by itself prevent representation collapse. We find that, from initialization, the encoder representation is dominated by a component shared by different inputs. A batch-normalized projector removes this component, so regularization after the projector cannot correct it, and the differences between representations shrink until they collapse. We propose SADL (Supply And Demand Loss), which keeps the original training objective and constrains the encoder directly when needed. SADL compares the representation differences that the projector output demands with the differences the encoder can retain and pass on to the projector, and adds a constraint on the encoder only when supply falls short of demand. It works with different Demand Regularizers and introduces no auxiliary networks, additional trainable parameters, or architectural changes. In single-task and jointly trained four-task LeWorldModel (LeWM) and INTACT experiments, SADL lowers the collapse rate over ten random seeds from 50% to 0%. After one epoch of training, encoder effective rank is 3.4-6.4 times that of the corresponding baseline without SADL, and latent prediction error falls to 1/20-1/303 of it. Without additional tuning, SADL stays robust as its loss weight spans orders of magnitude, and with several Demand Regularizers INTACT exceeds 95% mean search-free control success. On four image datasets, SADL also consistently improves accuracy and stability across random seeds. These results show that matching the representation differences a regularizer demands with the differences the encoder can supply leads to faster and more stable representation learning in control and image classification.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI