[发明专利]一种用于脉冲神经网络的高效高精度训练算法在审
申请号: | 202111547249.0 | 申请日: | 2021-12-16 |
公开(公告)号: | CN114186672A | 公开(公告)日: | 2022-03-15 |
发明(设计)人: | 张国和;裴旭东;刘佳;俞宙;丁莎 | 申请(专利权)人: | 西安交通大学;中国电子科技集团公司第二十四研究所 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08;G06V10/764;G06V30/32;G06K9/62 |
代理公司: | 西安通大专利代理有限责任公司 61200 | 代理人: | 闵岳峰 |
地址: | 710049 *** | 国省代码: | 陕西;61 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 用于 脉冲 神经网络 高效 高精度 训练 算法 | ||
1.一种用于脉冲神经网络的高效高精度训练算法,其特征在于,包括以下步骤:
S1:采集MNIST手写数字图像,对MNIST手写数字图像进行预处理,得到脉冲序列;
S2:采用反向传播方法将脉冲序列输入到脉冲神经网络中,利用梯度近似函数,对脉冲神经网络进行训练,得到训练完成的脉冲神经网络;
S3:将待分类数据输入训练后的脉冲神经网络,得到分类结果。
2.根据权利要求1所述的一种用于脉冲神经网络的高效高精度训练算法,其特征在于,步骤S1中,MNIST手写数字图像大小为28*28。
3.根据权利要求1所述的一种用于脉冲神经网络的高效高精度训练算法,其特征在于,步骤S1中,MNIST手写数字图像的像素值除以255,得到[0,1]范围内的归一化像素值,对输入图像进行预处理,产生[0,1]内的随机数,将随机数与[0,1]范围内的归一化像素值比较,如果像素值大于随机数,则产生脉冲,从而得到脉冲序列。
4.根据权利要求1所述的一种用于脉冲神经网络的高效高精度训练算法,其特征在于,脉冲神经网络包括卷积层和池化层。
5.根据权利要求1所述的一种用于脉冲神经网络的高效高精度训练算法,其特征在于,梯度近似函数h(u)通过下式计算:
式中,a为x轴上的范围宽度,u是膜电位,Vth为神经元膜电位的阈值。
6.根据权利要求1所述的一种用于脉冲神经网络的高效高精度训练算法,其特征在于,采用反向传播方法将脉冲序列输入到脉冲神经网络中,对脉冲神经网络进行训练,得到训练完成的脉冲神经网络,包括以下步骤:从输入层读入脉冲序列,结合梯度近似函数,逐层进行前向计算,产生脉冲信号向下一层传递,脉冲信号传递至输出层后,计算最后一层输出与输出层神经元对应的样本真实标签之间的误差,并反向对脉冲神经网络的参数进行误差估计,根据误差估计对卷积层和全连接层的突触权重进行更新至误差达到设定值,得到训练后的脉冲卷积神经网络。
7.根据权利要求1所述的一种用于脉冲神经网络的高效高精度训练算法,其特征在于,将待分类数据输入训练后的脉冲神经网络,得到分类结果,包括以下步骤:
将待分类数据输入到训练后的脉冲卷积神经网络中,根据像素值对待分类数据进行编码,经过卷积层和池化层提取待分类数据的图像特征信息,由全连接层输出针对每一类数据的预测值,比较针对每一类数据的预测值,取预测值最大的类别作为待分类数据的所属类别。
8.根据权利要求1所述的一种用于脉冲神经网络的高效高精度训练算法,其特征在于,误差通过损失函数计算得到,损失函数L通过下式计算:
其中,ot,n表示最后一层n在时间步长t的输出向量,Y是标签向量,n为脉冲神经网络层数,T为时间窗口。
9.根据权利要求1所述的一种用于脉冲神经网络的高效高精度训练算法,其特征在于,脉冲神经网络的参数包括、层数、网络类型、每一层网络的特征图数、卷积核大小以及神经元膜电位的阈值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于西安交通大学;中国电子科技集团公司第二十四研究所,未经西安交通大学;中国电子科技集团公司第二十四研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111547249.0/1.html,转载请声明来源钻瓜专利网。