[发明专利]一种基于ThLU函数的神经网络模型优化方法及系统在审
| 申请号： | 201910798586.3 | 申请日： | 2019-08-27 |
| 公开（公告）号： | CN110569965A | 公开（公告）日： | 2019-12-13 |
| 发明（设计）人： | 刘坤华;陈龙;袁湛楠;谢玉婷 | 申请（专利权）人： | 中山大学 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04;G06N3/08 |
| 代理公司： | 44102 广州粤高专利商标代理有限公司 | 代理人： | 陈伟斌 |
| 地址： | 510275 广东*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种基于ThLU函数的神经网络模型优化方法及系统，本发明基于ReLU函数的正半轴不存在梯度消失现象和tanh函数的负半轴可以减轻神经元死亡现象，提出新的激活函数，即基于tanh函数的修正线性单元，集合tanh函数的负半轴以及ReLU函数的正半轴，并基于CIFAR‑10数据集和CIFAR‑100数据集，通过VggNet‑16神经网络架构对tanh函数、ELU函数、LReLU函数和ReLU函数以及ThLU函数分别进行验证，通过验证表明基于ThLU函数训练得到的神经网络模型具有更好的正确率以及更低的损失，有效解决了ReLU函数的神经元死亡现象，为更加高效的激活函数。 | ||
| 搜索关键词： | 半轴 神经网络模型 神经元死亡 激活函数 数据集 验证 神经网络 线性单元 消失现象 有效解决 正确率 集合 架构 修正 优化 | ||
【主权项】：
1.一种基于ThLU函数的神经网络模型优化方法，其特征在于，包括以下操作：/n步骤一：设置神经网络模型的激活函数为ThLU函数，所述ThLU函数为基于tanh函数的修正线性单元，负半轴来源于tanh函数的负半轴，正半轴来源于ReLU函数的正半轴；/n步骤二：分别基于CIFAR-10数据集和CIFAR-100数据集，通过VggNet-16神经网络架构训练得到神经网络模型进行性能验证。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中山大学，未经中山大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910798586.3/，转载请声明来源钻瓜专利网。
