[发明专利]基于L2重新正则化Adam切换模拟回火SGD的深度学习方法在审
| 申请号： | 201811124380.4 | 申请日： | 2018-09-26 |
| 公开（公告）号： | CN109272046A | 公开（公告）日： | 2019-01-25 |
| 发明（设计）人： | 张勇军;刘非 | 申请（专利权）人： | 北京科技大学 |
| 主分类号： | G06K9/62 | 分类号： | G06K9/62 |
| 代理公司： | 北京市广友专利事务所有限责任公司 11237 | 代理人： | 张仲波 |
| 地址： | 100083*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种基于L2重新正则化Adam切换模拟回火SGD的深度学习方法，属于模式识别技术领域。该方法先利用Adam算法进行快速收敛，之后由算法根据一定的条件自行切换至SGD算法，以达到更好的收敛状态。在切换条件的选择思路上则首先根据梯度的正交平行四边形算法计算得到切换到SGD时所需要采用的学习率，然后根据Adam与SGD的特性设置了三个切换条件，最后为加强算法效率，使用L2重新正则化和模拟回火分别优化两种算法。该方法在领域公认的小型标准数据集Fashion‑MNIST、Cifar‑10与大型标准数据集ImageNet上进行了实验，在测试集准确率，以及达到可接受收敛的迭代次数等方面，新算法均取得优势，在需要节约时间、运算配置相对不高的现场环境具有创新意义。 | ||
| 搜索关键词： | 算法 正则化 回火 标准数据 切换条件 模式识别技术 平行四边形 创新意义 快速收敛 收敛状态 算法计算 算法效率 特性设置 现场环境 测试集 可接受 新算法 准确率 迭代 正交 学习 运算 收敛 节约 配置 优化 | ||
【主权项】：
1.一种基于L2重新正则化Adam切换模拟回火SGD的深度学习方法，其特征在于：包括步骤如下：(1)将标准数据库中的数据进行特征提取以及数据增强，将信号输入到L2重新正则化的Adam为初始优化器的深度学习网络；每次迭代中依据得到的梯度，计算得到假设在该次迭代下切换模拟回火SGD优化器的学习率，以及该次迭代完成后深度学习网络权重ωt矩阵At＝(ωt)Tωt的迹tr(At)与其特征值的平方和QS(At)；(2)在步骤(1)中经过一定的判断条件，得到下一次迭代是否进行切换，若是，则切换至模拟回火SGD优化器，并使用该优化器至迭代结束；若否，则不改变优化器类型，继续步骤(1)及步骤(2)中迭代与判断的过程。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京科技大学，未经北京科技大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811124380.4/，转载请声明来源钻瓜专利网。
