[发明专利]一种基于模糊玻尔兹曼机的忆阻神经网络训练方法

说明书

技术领域

本发明属于信息技术领域，涉及神经网络计算技术，具体涉及一种基于模糊玻尔兹曼机的忆阻神经网络训练方法。

背景技术

神经形态计算为克服传统的冯诺依曼计算机架构在效率、速度等方面的限制提供了新的出路，并且提出了新的适用于大规模并行计算和高能量效率的计算架构。忆阻器，作为第四个无源电路元件，因其自身所具有的特性与神经网络中突触结构的相似性，被认为是神经形态系统中电子突触结构的完美候选。一方面，类脑计算算法目前很大程度上依赖于矢量的乘法来计算网络中神经元的输出，而高密度忆阻器交叉阵列自然地提供了以极低功率并行执行这种矢量乘法的能力。另一方面，忆阻器的电导作为突触的连接权重，能够在外加的电压脉冲信号下很容易地被调控，因此为基于忆阻器阵列的在线学习提供了巨大的可能性。这些理想的特性使得忆阻器非常适合于作为神经形态硬件中的电子突触，因此现在被广泛利用。

然而，大量实验研究已经表明，当忆阻器小型至纳米尺度以后，其作为电子突触的特性具有非常大的涨落性，这种涨落性源自在离子迁移以及导电细丝形成和熔断过程中的内在随机性，其物理机制决定了以上涨落性无法从根本上消除。而在利用忆阻器作为电子突触实现神经突触搭建忆阻神经网络的过程中，以玻尔兹曼机为例，对神经网络的训练所采取的依然是传统的软件上的更新模式，而没有考虑实际器件中存在的涨落，这种涨落性的存在将不可避免地恶化神经网络的性能。因此，在基于忆阻器的神经形态硬件实际应用中，如何从训练方法上克服器件中存在的涨落，增强基于忆阻器的神经网络的性能，进一步推动神经形态计算的发展，针对这些问题，现有技术尚无法解决。

发明内容

为了克服上述现有技术的不足，本发明提供一种基于模糊玻尔兹曼机的忆阻神经网络训练方法，能够解决当前利用忆阻器实现忆阻神经网络中电子突触存在随机涨落并影响神经网络性能的问题。

本发明的原理是：现有传统神经网络架构中，忆阻器电导与突触权值之间的类比只将忆阻器的电导状态视为一个能够任意访问的确定值，而实际上，忆阻器的电导状态是一个具有很大涨落性的不确定数。本发明通过实验验证，阻器阻值的涨落性服从正态分布，如图3所示。因此，只有将其处理为一个模糊数才更为合理和准确，将其模糊化处理之后可以提高网络对涨落的容忍性。图3所示也进一步验证了将权值进行模糊化处理的合理性。基于此思想，本发明构建了基于实验验证的忆阻器模型的模糊受限玻尔兹曼机网络，使用模糊化权重来适应作为突触的忆阻器电导的涨落性，即通过将权值模糊化来处理实际器件中的涨落性，从而增强神经网络学习过程的鲁棒性。比较模糊受限玻尔兹曼机网络和现有传统的受限玻尔兹曼机网络的性能，结果明确地证明了模糊受限玻尔兹曼机网络具备容忍忆阻器突触电导随机涨落的能力。因此，本发明所提出的模糊化网络可以作为建立处理器件固有的随机涨落性的神经形态系统的通用方法，极大地促进高智能、高能效计算系统的发展。

本发明提供的技术方案是：

一种基于模糊玻尔兹曼机的忆阻神经网络训练方法，构建基于实验验证的忆阻器模型的模糊受限玻尔兹曼机网络，使用模糊化权重的方法适应作为突触的忆阻器电导的涨落性，即通过将权值模糊化来处理器件中电导的涨落性，从而增强神经网络学习过程的鲁棒性；包括如下步骤：

1)对受限玻尔兹曼机进行模糊化处理，使受限玻尔兹曼机网络中连接的强度(权值)参数与实际器件中的电导涨落性同分布，得到模糊受限玻尔兹曼机网络的初始状态；设定模糊的权值由ω来表示，ω_L和ω_R分别表示模糊权值的下界和上界；其初始值由器件中实际测得的高阻态电导分布得到，ω为器件电导分布的均值，ω_L和ω_R分别对应电导分布的3σ下界和3σ上界。

受限玻尔兹曼机是由一个可见神经元层和一个隐神经元层组成的双层神经网络，并且可见神经元层之间没有相互连接，隐藏神经元层之间也没有互相连接，只有可见层和隐层神经元之间存在相互连接。这种相互连接对应着由忆阻器构成的电子突触。受限玻尔兹曼机网络通过从训练样本得到的隐层神经元状态执行马尔可夫链抽样过程，进而估计独立于数据的期望值，并行交替更新所有可见层神经元和隐层神经元的值。而在其硬件实现中，忆阻器扮演了可见层和隐层之间的连接者，也就是电子突触的角色，即可见层和隐层神经元之间通过忆阻器阵列中的相应单元器件(即可见神经元所在行与隐层神经元所在列的交叉点)来连接，连接的强度(权值)由相应器件的电导来决定。在传统的受限玻尔兹曼机算法中，作为连接前后两层神经元的突触的权值是一个实数。