サンプル効率/構造学習2026/10/20arXiv:2610.28555

学習された配線構造によるサンプル効率の高い予測

Learning Computational Structure for Sample-Efficient Prediction

生物の神経回路の空間配置に着想を得て、各ニューロンに学習可能な低次元埋め込みを持たせ近傍のみ接続するLearned Wiringを提案し、合成構造を持つ関数の予測でサンプル効率を向上させた。

詳しい要約

1. どんなもの？

- 高次元の統計学習における次元の呪いを緩和するため、関数の compositionally sparse な構造を勾配ベース学習で活用する方法を研究する論文。 - CSFRBench という、学習中は対象の compositional computation を隠しつつ診断用に保持する制御ベンチマークを導入。 - 生物の神経回路の空間的組織に着想を得た Learned Wiring (LeWi) を提案。各 neuron が学習される低次元 embedding を持ち、近傍の neuron のみ接続し、embedding と重みを同時学習する。

2. 先行研究と比べてどこがすごい？

- 理論では compositional sparsity により sample complexity が local arity に依存し得るが、実用的な勾配学習でその利得を実現できるかは未確立だった。 - CSFRBench 上で dense networks や sparsity-based baselines はその利得の多くを活かせないことを示した。 - LeWi は対象グラフを与えられない手法の中で最も sample-efficient で、dense networks より learning-curve area が平均 27% 低い。 - 17 の world-model 予測タスクで dense baseline に 16 勝し、119 比較中 99 勝。

3. 技術・手法の肝は？

- 各 neuron に学習可能な低次元 embedding を持たせ、embedding 空間で近い neuron 同士のみを接続する。 - embedding と重みを jointly に訓練し、connectivity 自体を学習する。 - 対象の compositional computation を隠した CSFRBench で、構造の活用度を診断可能にする設計。

4. どうやって有効だと検証した？

- CSFRBench で dense networks と sparsity-based baselines と比較。 - 階層構造・intermediate reuse・独立 module を持つ対象で sample efficiency が向上。 - 独立にサンプルした computation graph から生成した追加 32 対象で、対象グラフ非提示の手法中で最も sample-efficient（dense 比 27% 低い learning-curve area）。 - LeWi の representation と connectivity が対象 computation と整合することを確認。 - control・navigation・manipulation にわたる 17 の world-model 予測タスクで dense baseline に 16 勝、119 比較中 99 勝。

5. 議論はある？

- 単一の high-arity 関数を持つ対象では dense networks の方が性能が良い。 - 理論が保証しない実用的勾配学習下での compositional structure 活用のギャップを埋める知見。 - connectivity と重みの同時学習が computational structure を活用し sample efficiency を改善することを示す。 - 限界や失敗条件の詳細は要旨からは不明。

6. 次に読むべき論文は？

- CSFRBench（本論文のベンチマーク） - dense networks - sparsity-based baselines - world-model prediction タスク - 生物の神経回路の空間的組織に関する研究（具体的文献は要旨からは不明）

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hangyu Zhou, Constantine Dovrolis, Stephen Mussmann

分類: cs.LG, cs.AI

原文アブストラクト

Statistical learning in high dimensions suffers from the curse of dimensionality. Fortunately, many functions of practical interest are compositionally sparse, meaning they admit a composition of local functions, each depending on only a few variables, allowing sample complexity to depend on local arity rather than ambient dimension. Yet realizing this benefit requires exploiting hidden compositional structure, which theory does not establish for practical gradient-based training. We study this gap with CSFRBench, a controlled benchmark that hides the target's compositional computation during training but retains it for diagnosis, and find that dense networks and sparsity-based baselines leave much of that benefit unrealized. Inspired by the spatial organization of biological neural circuits, we introduce Learned Wiring (LeWi): each neuron has a learned low-dimensional embedding, only nearby neurons connect, and embeddings and weights are trained jointly. LeWi improves sample efficiency on targets with hierarchical structure, intermediate reuse, or independent modules. Across 32 additional targets generated by independently sampled computation graphs, LeWi is the most sample-efficient method not given the target graph, with 27% lower mean learning-curve area than dense networks. Dense networks perform better on targets with a single high-arity function. LeWi's representations and connectivity align with the target computation. On 17 world-model prediction tasks spanning control, navigation, and manipulation, LeWi beats the dense baseline on 16 and wins 99/119 baseline comparisons. These results show that jointly learning connectivity and weights can exploit computational structure to improve sample efficiency.

arXivで原文を読む →arXiv概要ページ

← 論文一覧