|
钻瓜专利网为您找到相关结果 59667个,建议您 升级VIP下载更多相关专利
- [发明专利]一种多机制混合的递归神经网络模型压缩方法-CN201710151828.0在审
-
王中风;王智生;林军
-
南京大学
-
2017-03-10
-
2018-01-30
-
G06N3/08
- 本发明公开了一种多机制混合的递归神经网络模型压缩方法。方法包括A、循环矩阵约束将递归神经网络中部分参数矩阵限制为循环矩阵,并更新后向梯度传播算法使网络可以进行循环矩阵的批量训练;B、前向激活函数近似前向运算时将非线性的激活函数替换为硬件友好的线性函数,后向梯度更新过程保持不变;C、混合量化根据递归神经网络中不同参数对误差可容忍度的差异,针对不同参数采用不同的量化机制;D、二次训练机制将网络模型的训练分为初始训练和重训练两个阶段,每个阶段侧重不同的模型压缩方法,很好地避免了不同模型压缩方法间的相互影响本发明通过灵活地运用多种模型压缩机制来压缩递归神经网络模型,可以大大减少模型参数,适用于需要使用递归神经网络的存储受限、低延迟嵌入式系统,具有很好的创新性和应用前景。
- 一种机制混合递归神经网络模型压缩方法
|