[发明专利]一种应用于神经网络的SQRT激活方法在审
| 申请号： | 201810342616.5 | 申请日： | 2018-04-17 |
| 公开（公告）号： | CN108734273A | 公开（公告）日： | 2018-11-02 |
| 发明（设计）人： | 杨小宇;陈宇飞 | 申请（专利权）人： | 同济大学 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04;G06N3/08 |
| 代理公司： | 上海科律专利代理事务所(特殊普通合伙) 31290 | 代理人： | 叶凤 |
| 地址： | 200092 *** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明一种新的神经网络的激活方法，涉及计算机深度学习领域。为了克服现有技术鲁棒性差、训练过程中遭遇梯度弥散而导致训练失效以及初始化要求苛刻等不足，本方法使用平方根函数作为神经网络激活函数，在神经网络的训练过程中，数据经线性单元正向传播后，进入激活单元进行激活，激活单元使用平方根函数作为激活函数，将线性单元的每个输出值求其平方值后输出给下一层网络完成激活；数据经线性单元反向传播后，同上进入激活单元激活，此时激活单元使用相应的平方根函数的导数作为激活函数，将线性单元传回的梯度值求平方根导数，然后传递给上一层网络完成误差的反向传播。本本发明易于实现，鲁棒性强、精度高。 | ||
| 搜索关键词： | 激活单元 神经网络 激活 平方根函数 激活函数 反向传播 数据经线 线性单元 训练过程 鲁棒性 导数 本本发明 方法使用 正向传播 输出 初始化 平方根 弥散 网络 传递 计算机 应用 学习 | ||
【主权项】：
1.一种新的神经网络的激活方法，其特征在于，该方法使用平方根函数作为神经网络激活函数，在神经网络的训练过程中，数据经线性单元正向传播后，进入激活单元进行激活，激活单元使用平方根函数作为激活函数，将线性单元的每个输出值求其平方值后输出给下一层网络完成激活；数据经线性单元反向传播后，同上进入激活单元激活，此时激活单元使用相应的平方根函数的导数作为激活函数，将线性单元传回的梯度值求平方根导数，然后传递给上一层网络完成误差的反向传播。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于同济大学，未经同济大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810342616.5/，转载请声明来源钻瓜专利网。
- 上一篇：卷积神经网络优化机构
- 下一篇：用于深度神经网络的计算优化机制
