[发明专利]基于忆阻器结构的长短时记忆网络实现方法

说明书

本发明公开了一种基于忆阻器结构的长短时记忆网络实现方法，包括步骤：基于基础忆阻器阵列，搭建由LSTM层和全连接层构成的待训练LSTM网络，并输入原始视频数据，得到待训练LSTM网络的全连接层输出值；根据全连接层输出值与标准信息的偏差，利用基于时间反向传播的均方根反向传播算法训练所述待训练LSTM网络；当达到设定的训练次数时，判定训练精度是否达标，若不达标则进行再次训练，直至精度达标；获得所需LSTM网络。其显著效果是：通过利用小规模的忆阻器阵列作为基础阵列，以一定的排列方式构成大规模阵列，获得对精度、制备难度复杂过程不敏感，且能够承载更高级神经网络应用的长短时记忆网络。

技术领域

本发明涉及到人工智能与材料科学技术领域，具体涉及一种基于忆阻器结构的长短时记忆网络实现方法。

背景技术

长短时记忆网络(Long Short-Term Memory，LSTM)可视为一种特殊的循环神经网络(Recurrent Neural Network，RNN)，在图像描述、数据挖掘、自然语言处理、语音识别等诸多领域中都有广泛的应用。

LSTM在设计上避免了长时依赖(Long-Term Dependencies)的问题，即对长期信息具有良好的存储记忆功能。众所周知，几乎所有的循环神经网络都有着重复的神经网络模块形成链的形式，这种神经网络形成链结构在普通的RNN中是非常简单的，但是在LSTM网络中就变得复杂了。与普通RNN不同的是，LSTM网络内部有三个特有的阶段：(1)忘记阶段，即对前一时刻传来的输入进行选择性地忘记；(2)选择记忆阶段，即对这一时刻的输入进行选择性地“记忆”；(3)输出阶段，即决定哪些信息将会被当成当前时刻的输出。由于LSTM网络的复杂链状结构，使得它能够实现对信息的保护和控制，该功能是通过一种叫“门”的结构来实现的。门结构可以选择性地让信息通过，它们由一个Sigmoid神经网络层和一个逐点相乘的操作来实现的。Sigmoid层输出为一个向量，其每个元素都是一个在0和1之间的实数，表示让对应信息通过的权重。比如，0表示“不让任何信息通过”，1表示“让所有信息通过”。

忆阻器(Memristor)，全称为记忆电阻器，是继电阻、电感和电容后的另一器件。早在1971年，华裔科学家蔡少棠教授就已经提出了忆阻器的概念，他推断：在电阻、电容和电感之外，应该还有一种组件，能够表示电荷和磁通量之间的关系。这种组件的特点是：电阻会随着电流量的改变而改变，并且电流停止后电阻值仍然会保留之前的值，直至它的电流改变才会引起电阻值变化。根据忆阻器的这种保留电阻值特性，人们可以知道流经它的电荷量，从而可以将它制备成具有记忆性的存储器。与此同时，纳米忆阻器件的兴起，也推动着基于忆阻器的大规模的非易失性随机存储器实现的进程。

2014年12月19日美国《科学》杂志公布了其评选的2014年十大科技突破，其中美国国际商用机器公司(IBM)研制的新一代模仿人脑计算机芯片榜上有名。这款名为“真北(True North)”的芯片的诞生，意味着信息的存储和处理不再存在明显的分界线。理想的人工突触器件应该具有以下几种基本性能：(1)具有非易失的突触权重；(2)纳米级尺寸；(3)具有突触可塑性，即突触权重能够通过学习而发生改变；(4)易于大规模互连集成；(5)低功耗。忆阻器就是这样一种具有记忆功能的非线性电阻，其阻值能够随流经的电荷量而发生变化，并在断电后保持这种变化的状态，可以认为是模拟神经突触的完美器件。

由于忆阻器的这种可以模拟神经突触的特性，将其和神经网络结合，就可以使得信息的储存和处理不再存在明显的分界线了。这种仿脑计算架构和范式在并行处理大数据量的任务时，比如图形识别、视觉捕捉、模式识别、数据压缩、视频识别等方面可以表现出优越的性能。近年来，研究人员在基于忆阻器实现神经网络的实验上大量的突破。Yao等人利用反向传播基础神经网络在128×8的忆阻器阵列上，实现了对320像素灰度图像人脸的分类。因此，在忆阻器能够存储大量信息的前提下，构建LSTM网络并实现对视频的分析是可行的。