[发明专利]一种神经网络优化方法和装置在审
| 申请号： | 202111060216.3 | 申请日： | 2021-09-10 |
| 公开（公告）号： | CN113762479A | 公开（公告）日： | 2021-12-07 |
| 发明（设计）人： | 徐友庆;高成;关晨;孟祥峰 | 申请（专利权）人： | 深圳朴生智能科技有限公司 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04;G06N3/08;G06N5/04 |
| 代理公司： | 苏州创元专利商标事务所有限公司 32103 | 代理人： | 范晴 |
| 地址： | 518057 广东省深圳市南山区粤海*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 神经网络 优化 方法 装置 | ||
1.一种神经网络优化方法，其特征在于，包括：
基于多分支的可融合残差结构进行模型训练，并提取训练后的模型参数；
利用融合算子对训练后的可融合残差结构型进行结构转换，以得到单分支残差结构；
将所述单分支残差结构部署到目标设备上并执行目标任务的推理步骤。
2.根据权利要求1所述的方法，其特征在于，所述可融合残差结构由残差结构去掉两个连续卷积核之间的relu层得到。
3.根据权利要求1所述的方法，所述可融合残差结构中的卷积核结构包括：一个1乘1卷积核、接在所述1乘1卷积核后面的一个3乘3卷积核、以及接在所述3乘3卷积核后面的一个1乘1卷积核。
4.根据权利要求1所述的方法，其特征在于，利用融合算子对训练后的可融合残差结构型进行结构转换，包括：
遍历神经网络中所有的可融合残差结构；
将所述可融合残差结构中的卷积核输入带入到批归一化层的公式中，以得到融合了批归一化层的卷积核。
5.根据权利要求1所述的方法，其特征在于，利用融合算子对训练后的可融合残差结构型进行结构转换，包括：
所述可融合残差结构中每个卷积核将其前一个卷积核层的输出作为输入，并将输出反馈到其后一个卷积核，以实现卷积核和卷积核合并。
6.根据权利要求2所述的方法，其特征在于，利用融合算子对训练后的可融合残差结构型进行结构转换，包括：
对于带有下采样的可融合残差结构，将直连上的1乘1卷积核展开为3乘3卷积核；
将展开后的3乘3卷积核的中心点添加到所述3乘3卷积核上，完成水平合并。
7.一种神经网络优化装置，其特征在于，包括：
训练模块，用于基于多分支的可融合残差结构进行模型训练，并提取训练后的模型参数；
融合模块，用于利用融合算子对训练后的可融合残差结构型进行结构转换，以得到单分支残差结构；
部署推理模块，用于将所述单分支残差结构部署到目标设备上并执行目标任务的推理步骤。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于深圳朴生智能科技有限公司，未经深圳朴生智能科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202111060216.3/1.html，转载请声明来源钻瓜专利网。
