[发明专利]一种神经网络模型的稀疏化后向传播训练方法在审
| 申请号： | 201710453252.3 | 申请日： | 2017-06-15 |
| 公开（公告）号： | CN107273975A | 公开（公告）日： | 2017-10-20 |
| 发明（设计）人： | 孙栩;任宣丞;马树铭 | 申请（专利权）人： | 北京大学 |
| 主分类号： | G06N3/08 | 分类号： | G06N3/08 |
| 代理公司： | 北京万象新悦知识产权代理事务所(普通合伙)11360 | 代理人： | 黄凤茹 |
| 地址： | 100871*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公布了一种神经网络模型的稀疏化后向传播训练方法，在后向传播过程中，通过基于K大值的稀疏化处理，减少更新与实例相关度低的信息，提高深度神经网络的训练速度和训练效果；在后向传播过程中，首先对输出梯度进行K大值稀疏化处理，利用稀疏化处理后的向量进行梯度计算，得到参数的稀疏化梯度；当神经网络有多层时，本层的输入向量x即为下层的输出向量，输入向量x的梯度可作为下一层的输出结果梯度传递下去。本发明通过减少更新与实例相关度低的信息来提高神经网络的训练速度和训练效果。 | ||
| 搜索关键词： | 一种 神经网络 模型 稀疏 传播 训练 方法 | ||
【主权项】：
一种神经网络模型的稀疏化后向传播训练方法，在后向传播过程中，通过基于K大值的稀疏化处理，减少更新与实例相关度低的信息，提高深度神经网络的训练速度和训练效果；包括如下步骤：1)在前向传播的过程中，前向传播的神经网络模型的每一层接受上层的输入向量x；通过线性变换输出向量y，通过非线性变换输出向量z，并作为下一层的输入；最后一层的输出作为整个网络模型的输出结果；2)在后向传播过程中，神经网络模型每一层的后向传播利用上一层的输出梯度(1≤i≤n,n为向量维度)作为输入，首先对输出梯度进行K大值稀疏化处理，利用稀疏化处理后的向量进行梯度计算，得到参数的稀疏化梯度；所述参数的稀疏化梯度包括参数矩阵W的稀疏化梯度和输入向量x的稀疏化梯度；当神经网络有多层时，本层的输入向量x即为下层的输出向量，输入向量x的梯度可作为下一层的输出结果梯度传递下去；3)根据2)中后向传播求得的稀疏化梯度，对神经网络的参数进行更新；从而实现对神经网络模型进行训练。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京大学，未经北京大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710453252.3/，转载请声明来源钻瓜专利网。
