リカレントスパイキングニューラルネットワークにおける仮眠パラダイムの探求

本論文は、生物の睡眠に着想を得た micro-sleep paradigm「napping」を Recurrent Spiking Neural Networks (SNNs) に適用し、weight normalization の安定性を保ちつつモデル複雑性を削減できるかを検証する。unsupervised recurrent SNN を trace-based spike-timing-dependent plasticity (STDP) で訓練し、Gabor-preprocessed MNIST で評価する。napping は proportional weight scaling と continuous stochastic membrane activity を組み合わせる。

従来の engineered SNNs は instantaneous で noiseless な weight normalization を好み、生物の free energy 均衡を扱っていない。本論文は sleep の synaptic downscaling と stochastic noise による precision 減衰を模した napping を提案し、normalization と同等の accuracy を保ちながら complexity を削減し得る点を示す。

napping は proportional weight scaling と continuous stochastic membrane activity を組み合わせる。これを unsupervised recurrent SNN に適用し、trace-based STDP で訓練する。入力は Gabor-preprocessed MNIST。napping の duration と membrane noise level を sweep し、3 つの regularization regimes で調整する。

3 つの regularization regimes で napping の duration と membrane noise level を sweep し、最良設定を weight normalization と比較する。全 regime で well-tuned napping は normalization の accuracy に匹敵する。accuracy は短い duration と低 noise でピークに達し、どちらかが増えると単調に低下する。clustering は異なり、長い duration と高い noise で最も強い geometric separation が生じる。

accuracy と structure は free energy の 2 項として引き離される。accuracy は data fit を、structure は gradual で noisy な downscaling が誘導する simpler representation を報いる。この gain には normalization が避ける simulation cost が伴うため、napping は raw classification efficiency よりも representational structure を優先する場合に最も魅力的である。

要旨で参照/比較されているのは weight normalization と trace-based spike-timing-dependent plasticity (STDP) である。関連手法として synaptic downscaling や stochastic noise を用いた SNN 正則化、free energy principle に基づくモデルが挙げられる。