[发明专利]一种基于忆阻器所构建的脉冲神经网络模型

说明书

本发明公开了一种基于忆阻器所构建的脉冲神经网络模型，所述脉冲神经网络模型可以用于黑白数字图片的识别。本发明创新性地将忆阻器(RRAM)的非线性应用到神经元电路中，使得模拟得到的脉冲更符合生物形态，并且采用STDP非监督学习规则和WTA竞争机制来训练网络。相较于现有的脉冲卷积神经网络，本发明整个网络结构简单，不借助于卷积神经网络的框架及算法，只有输入层和输出层两层，具有计算量小、能耗低的特点。本发明基于数字硬件平台设计，能在现场可编程门阵列(FPGA)上实现其功能，便于集成到超大规模的脉冲神经网络硬件架构中，同时减少了大量的累乘加运算，使功耗大大降低。

技术领域

本发明涉及图像处理识别领域，具体涉及一种基于忆阻器的STDP学习电路在图像识别中的应用。

背景技术

脉冲神经网络(Spiking Neural Network,SNN)也叫第三代人工神经网络，是当今最先进的神经形态网络。这种神经网络使用生物学上逼真的神经元模型进行信息编码和计算，以充分利用神经网络的效率。脉冲神经网络是一种仿生物脑的算法，通常由彼此独立的神经元和互联神经元的突触组成，是一种高度类脑、高度类生物信息计算方式的网络。神经元通过在突触上传播的稀疏脉冲序列进行信息交互。而脉冲神经网络以二值化的形式进行信息传递，不需要在神经元之间传输模拟值，因此可以与数字电路设计很好的结合。近年来，脉冲神经网络和忆阻器(RRAM)的结合能打破传统的冯诺依曼结构，能极大减少硬件能耗，因此是学术界和产业界都在积极推进的工作。

漏电整合激发模型(LIF)是现阶段脉冲神经网络的搭建与训练过程中使用最多的神经元模型，它完整的体现了人工神经元计算的完整过程，输入电流通过电容进行积分，电容两端的电压代表神经元的膜电位，当膜电位超过神经元的阈值电压时，表示神经元被激活，释放脉冲，同时电容上的电荷通过支路泄漏，神经元的膜电位回复到静息电位，对应了积分(integrate)、脉冲发放(fire)和泄漏(leaky)的整个过程，因此它具备了生物神经元被激活释放脉冲的核心思想，同时该模型也很简单，因此被广泛的适用。STDP学习规则即脉冲时序依赖可塑性(Spike Timing Dependent Plasticity).这一规则总结了突触强度能根据脉冲时序发生变化的规律：当前级神经元脉冲在后级神经元脉冲之前到达突触时，突触权重(连接强度)增大，这种情况叫长时程增强(Long-term potentiation,LTP)，且时间间隔越小权重增加量越大。而前级神经元脉冲在后级神经元脉冲之后到达突触时，突触权重减少,这种情况叫长时程抑制(Long-term depression,LTD)，且时间间隔越小权重减小量越大。突触强度的这些变化被认为在人脑的学习和记忆中起着重要作用。STDP法则是生物系统中“纯天然”的生物学习法则，不同传统的人工神经网络中采用梯度下降算法等各种算法进行网络的优化，STDP法则的应用可以使得脉冲神经网络自发性的进行优化学习。

发明内容

为克服现有技术的不足之处和局限性，本发明旨在提供一种基于忆阻器构建的脉冲神经网络模型，可以用于手写数字图片的无监督学习。

本发明采用的技术方案是基于忆阻器构成的STDP学习电路所构建的脉冲神经网络，包括如下模块：

一种基于忆阻器的脉冲神经元模块。由漏电整合激发模型(LIF)改进而来。由于忆阻器的非线性，忆阻器的阻抗状态会随着所加在其两端的电压而发生变化，在忆阻器两端未加电压的时候，忆阻器默认为高阻态，当加在忆阻器两端的电压超过了忆阻器的“形成电压”Vform时，忆阻器会进入低阻态。因此在LIF模型中加入忆阻器，可以利用忆阻器阻态随其两端电压改变而发生变化的特点，改变输出脉冲的形状，得到更符合真实生物形态的脉冲电压形状。

一种由脉冲神经元构成的STDP学习电路模块。在STDP学习电路模块中加入忆阻器，是利用忆阻器的阻值可变性。忆阻器的电导值可以通过网络的学习进行更新，在脉冲神经网络中，忆阻器作为连接神经元之间的突触，因此忆阻器的电导值对应突触权值。通过训练后，更新的权重值对应为识别图像的目标像素值。从而完成了网络的学习过程。

附图说明