時識科技提出新脈沖神經網絡訓練方法 助推類腦智能產業落地

近日，SynSense時識科技技術團隊發表題為“EXODUS： Stable and Efficient Training of Spiking Neural Networks”的文章，在文章中提出了新的脈沖神經網絡訓練方法EXODUS。研究顯示：EXODUS能夠大大減低訓練復雜程度，更具穩定性，并提升了準確度。

這項研究由SynSense時識科技瑞士技術團隊算法應用、機器學習工程師共同完成。具體見：https://arxiv.org/abs/2205.10242v1

Code： https://github.com/synsense/sinabs-exodus

“EXODUS是一種更加嚴謹的算法，對SLAYER進行了優化，在多種基準數據集中顯示出了更快速的收斂和更高的準確性?！?/p>

——SynSense時識科技

高級算法總監Sadique Sheik

在如今的機器學習任務中，功耗正在被置于越來越重要的地位。受生物大腦啟發的脈沖神經網絡尤其在連接事件驅動的傳感器及異步硬件時，顯示出突出的低功耗、低延遲特征。因此，超低功耗脈沖神經網絡也正在被廣泛接受。

研究人員設計了不同的方法用于脈沖神經網絡訓練。當前，訓練脈沖神經網絡所運用的基于時間的反向傳播（BPTT），卻較為耗時。來自NUS的Shrestha和Orchard此前提出了一種名為SLAYER的算法，能夠相當程度上提升訓練速度。然而，SLAYER并未在計算梯度中將神經元膜電位重置機制納入考量，這也是造成數值不穩定的一大原因。為了對抗這一缺陷，SLAYER引入了梯度縮放超參數，并且需要手動調試。

SynSense時識科技在最新研究中，對SLAYER進行了改善并設計了一種名為EXODUS的算法。EXODUS將神經元膜電位重置機制考慮在內，應用了隱函數定理（ Implicit Function Theorem /IFT） 來計算梯度，無需特置梯度縮放，大大減低了訓練復雜程度。

SynSense時識科技在此研究過程中演示了3類類腦任務：通過DVS Gesture、Heidelberg Spiking Digits（HSD）、Spiking speech commands （SSC） ，圍繞EXODUS及SLAYER進行了對比，EXODUS顯示出了較SLAYER更高的準確性。

驗證準確度提升及訓練提速對比

自成立以來，SynSense時識科技持續助推類腦智能產業落地，同時在這一進程中，于腦科學、神經網絡模型、算法、硬件架構、芯片設計、系統級設計、應用、軟件等類腦工程相關的各個領域持續創新，對國內外科研領域產生了積極深刻的影響。SynSense時識科技核心團隊在類腦芯片領域科研上的實力位于世界最頂級的行列，這也將作為強大驅動，加快SynSense時識科技類腦智能應用落地，為類腦技術的更廣泛鋪開而形成助力。