[发明专利]基于临界阻尼动量的深度神经网络的训练方法及系统有效
| 申请号： | 202011521458.3 | 申请日： | 2020-12-21 |
| 公开（公告）号： | CN112488309B | 公开（公告）日： | 2023-10-20 |
| 发明（设计）人： | 王好谦;蔡宇麟;王兴政 | 申请（专利权）人： | 清华大学深圳国际研究生院 |
| 主分类号： | G06N3/063 | 分类号： | G06N3/063;G06N3/084;G06F18/214;G06F17/16;G06F17/13 |
| 代理公司： | 深圳新创友知识产权代理有限公司 44223 | 代理人： | 方艳平 |
| 地址： | 518055 广东省深圳市*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于临界阻尼动量的用于图片分类的深度神经网络的训练方法及系统，该方法包括：S1：开始新一轮的迭代；S2：输入一批新图像，计算神经网络的损失函数的海塞矩阵的迹，其中所述海塞矩阵是损失函数对神经网络各参数的二阶导数所构成的矩阵；S3：根据海塞矩阵的迹代入二阶微分方程的临界阻尼解，计算得到神经网络权重参数的动量系数；S4：配合学习率衰减策略，更新神经网络的参数；S5：判断是否所有图像批次都已计算，如果是，则执行步骤S6；如果否，则返回步骤S2；S6：判断迭代轮次是否达到最大，如果是，则结束训练，如果否，则返回步骤S1。本发明对包含动量的随机梯度下降方法进行了改进，达到了较为理想的训练效果。 | ||
| 搜索关键词： | 基于 临界阻尼 动量 深度 神经网络 训练 方法 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于清华大学深圳国际研究生院，未经清华大学深圳国际研究生院许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202011521458.3/，转载请声明来源钻瓜专利网。
- 上一篇：一种移印设备
- 下一篇：目标检测方法、系统、设备及存储介质
