[发明专利]一种神经网络模型的卷积运算优化方法和装置在审
申请号: | 201911155114.2 | 申请日: | 2019-11-22 |
公开(公告)号: | CN110909874A | 公开(公告)日: | 2020-03-24 |
发明(设计)人: | 杜渂;邱祥平;陈春东;雷霆;彭明喜;周赵云;陈健;王聚全;杨博;刘冉东;王月;王孟轩;张胜;韩国令;和传志;曹若麟 | 申请(专利权)人: | 迪爱斯信息技术股份有限公司 |
主分类号: | G06N3/08 | 分类号: | G06N3/08;G06N3/04 |
代理公司: | 上海硕力知识产权代理事务所(普通合伙) 31251 | 代理人: | 杨用玲 |
地址: | 200233 上海*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 神经网络 模型 卷积 运算 优化 方法 装置 | ||
1.一种神经网络模型的卷积运算优化方法,应用于从输入特征图提取特征信息,得到输出特征图的卷积操作,其特征在于,包括:
在通道维度对所述输入特征图进行切分,得到每个组的子输入特征图;
分别对每个子输入特征图进行不同的组卷积操作,提取每个组所包含通道的特征信息,得到不同的子输出特征图;
将所有分组的子输出特征图进行混洗、组合,得到所述输出特征图。
2.根据权利要求1所述的卷积优化方法,其特征在于,所述在通道维度对所述输入特征图进行切分,得到每个组的子输入特征图,包括:
对所述输入特征图按照所述输入特征图的通道数进行切分,得到每个通道的子输入特征图。
3.根据权利要求1所述的卷积优化方法,其特征在于,所述组卷积操作包括:
采用若干个深度可分离卷积分别处理所述子输入特征图的每个通道的信息,其中,所述深度可分离卷积是通道为1的卷积核,所采用的深度可分离卷积的个数等于所述子输入特征图的通道数;
通过1×1的点卷积合并所述深度可分离卷积提取到的不同通道的特征,得到子输出特征图。
4.根据权利要求1所述的卷积优化方法,其特征在于,所述组卷积操作包括:
对所述子输入特征图通过1×1的点卷积进行升维,得到通道数增加的子输入特征图;
对所述通道数增加的子输入特征图通过深度可分离卷积进行特征提取,得到特征信息;
对所述特征信息通过1×1的点卷积进行降维,得到子输出特征图,所述子输出特征图的通道数等于所述子输入特征图的通道数。
5.根据权利要求4所述的卷积优化方法,其特征在于:
所述对所述子输入特征图通过1×1的点卷积进行升维,包括:
对所述子输入特征图通过1×1的点卷积进行升维,并对升维后的卷积结果采用非线性激活函数进行非线性操作;
所述通过深度可分离卷积进行特征提取,包括:
先通过深度可分离卷积进行特征提取,再通过所述非线性激活函数进行非线性操作;
所述对所述特征信息通过1×1的点卷积进行降维,包括:
对所述特征信息通过1×1的点卷积进行降维,再通过线性激活函数进行激活处理。
6.根据权利要求5所述的卷积优化方法,其特征在于:
所述非线性激活函数为ReLU6激活函数。
7.一种神经网络模型的卷积运算优化装置,应用于从输入特征图提取特征信息,得到输出特征图的卷积操作,其特征在于,包括:
通道分解模块,用于在通道维度对所述输入特征图进行切分,得到每个组的子输入特征图;
分组卷积模块,用于分别对每个子输入特征图进行不同的组卷积操作,提取每个组所包含通道的特征信息,得到不同的子输出特征图;
特征混洗模块,用于将所有分组的子输出特征图进行混洗、组合,得到所述输出特征图。
8.根据权利要求7所述的卷积优化装置,其特征在于,所述分组卷积模块包括:
单通道特征提取单元,用于采用若干个深度可分离卷积分别处理所述子输入特征图的每个通道的信息,其中,所述深度可分离卷积是通道为1的卷积核,所采用的深度可分离卷积的个数等于所述子输入特征图的通道数;
特征合并单元,用于通过1×1的点卷积合并所述深度可分离卷积提取到的不同通道的特征,得到子输出特征图。
9.根据权利要求7所述的卷积优化装置,其特征在于,所述分组卷积模块包括:
升维单元,用于对所述子输入特征图通过1×1的点卷积进行升维,得到通道数增加的子输入特征图;
特征提取单元,用于对所述通道数增加的子输入特征图通过深度可分离卷积进行特征提取,得到特征信息;
降维单元,用于对所述特征信息通过1×1的点卷积进行降维,得到子输出特征图,所述子输出特征图的通道数等于所述子输入特征图的通道数。
10.根据权利要求9所述的卷积优化装置,其特征在于,所述分组卷积模块还包括:
第一非线性激活单元,用于对升维后的卷积结果采用非线性激活函数进行非线性操作;
第二非线性激活单元,用于在通过深度可分离卷积进行特征提取之后,通过非线性激活函数进行非线性操作;
线性激活单元,用于在对所述特征信息通过1×1的点卷积进行降维之后,通过线性激活函数进行激活处理。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于迪爱斯信息技术股份有限公司,未经迪爱斯信息技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911155114.2/1.html,转载请声明来源钻瓜专利网。