[发明专利]神经网络模型的训练方法、应用方法及装置在审
申请号: | 202110994807.1 | 申请日: | 2021-08-27 |
公开(公告)号: | CN113610220A | 公开(公告)日: | 2021-11-05 |
发明(设计)人: | 刘海军;李清江;李智炜;黄力行;于红旗;徐晖;刁节涛;王义楠;陈长林;刘森;宋兵;王伟;步凯;王琴;王玺;曹荣荣 | 申请(专利权)人: | 中国人民解放军国防科技大学 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/063;G06N3/08;G11C13/00 |
代理公司: | 北京超成律师事务所 11646 | 代理人: | 高玉光 |
地址: | 410000 湖*** | 国省代码: | 湖南;43 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 神经网络 模型 训练 方法 应用 装置 | ||
1.一种神经网络模型的训练方法,其特征在于,所述神经网络模型为基于忆阻器的二值化卷积神经网络;所述方法包括:
对于每个训练周期,利用训练样本对神经网络模型进行预训练,得到所述神经网络模型对应的权重矩阵;其中,所述权重矩阵包括多个网络节点对应的权重值;
对所述权重矩阵中的每个权重值进行改写操作,得到改写权重矩阵;其中,所述改写权重矩阵中的每个权重值为-1或1;
将所述改写权重矩阵拆分成第一权重矩阵和第二权重矩阵;其中,所述第一权重矩阵中的第一权重值与所述改写权重矩阵中的权重值相同,所述第二权重矩阵中的第二权重值与所述改写权重矩阵中的权重值互为相反数;
基于预设的第一转换函数和高斯噪声函数对所述第一权重矩阵进行转换,得到第一新权重矩阵;
基于预设的第二转换函数和高斯噪声函数对所述第二权重矩阵进行转换,得到第二新权重矩阵;
根据所述第一新权重矩阵和所述第二新权重矩阵计算得到第三新权重矩阵;
基于所述第三新权重矩阵和所述训练样本对所述神经网络模型继续进行训练,直到本轮训练周期的次数达到预设值或者训练损失值达到预设训练损失阈值为止。
2.根据权利要求1所述的方法,其特征在于,对所述权重矩阵中的每个权重值进行改写操作的步骤,包括:
将所述权重矩阵中的每个权重值作为目标权重值,对于每个所述目标权重值均执行以下操作:
判断所述目标权重值是否小于或等于第一预设值;
如果是,将所述目标权重值改写为-1;
如果否,将所述目标权重值改写为1。
3.根据权利要求1所述的方法,其特征在于,基于预设的第一转换函数和高斯噪声函数对所述第一权重矩阵进行转换,得到第一新权重矩阵的步骤,包括:
利用预设的第一转换函数对所述第一权重矩阵进行转换,得到第一转换权重矩阵,其中,所述第一转换权重矩阵中的每个权重值为0或1;
将所述高斯噪声函数生成的高斯噪声值添加至所述第一转换权重矩阵中,得到第一新权重矩阵。
4.根据权利要求1所述的方法,其特征在于,所述第一转换函数为:
若数值小于或等于第二预设值时,将所述数值转换成0;
若数值大于第二预设值时,将所述数值转换成1。
5.根据权利要求1所述的方法,其特征在于,基于预设的第二转换函数和高斯噪声函数对所述第二权重矩阵进行转换,得到第二新权重矩阵的步骤,包括:
利用预设的第二转换函数对所述第二权重矩阵进行转换,得到第二转换权重矩阵,其中,所述第二转换权重矩阵中的每个权重值为0或1;
将所述高斯噪声函数生成的高斯噪声值添加至所述第二转换权重矩阵中,得到第二新权重矩阵。
6.根据权利要求1所述的方法,其特征在于,所述第二转换函数为:
若数值小于第二预设值时,将所述数值转换成0;
若数值大于或等于第二预设值时,将所述数值转换成1。
7.根据权利要求1所述的方法,其特征在于,根据所述第一新权重矩阵和所述第二新权重矩阵计算得到第三新权重矩阵的步骤,包括:
将所述第一新权重矩阵减去所述第二新权重矩阵,得到第三新权重矩阵。
8.一种神经网络模型的应用方法,其特征在于,所述神经网络模型为基于忆阻器的二值化卷积神经网络;所述方法包括:
基于当前任务获取待处理的目标图像;其中,所述当前任务包括针对目标对象的检测任务、识别任务或跟踪任务;所述目标对象包括以下之一:行人、人体部位、车辆或车牌;
将所述目标图像输入预先训练好的神经网络模型,得到所述神经网络模型输出的所述目标图像对应的结果;其中,所述神经网络模型为应用权利要求1-7任一项所述训练方法训练得到的模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国人民解放军国防科技大学,未经中国人民解放军国防科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110994807.1/1.html,转载请声明来源钻瓜专利网。