[发明专利]一种信号识别卷积神经网络卷积核分区剪枝方法在审
申请号: | 202010028618.4 | 申请日: | 2020-01-11 |
公开(公告)号: | CN111222640A | 公开(公告)日: | 2020-06-02 |
发明(设计)人: | 李建清;陈豪;王宏 | 申请(专利权)人: | 电子科技大学 |
主分类号: | G06N3/08 | 分类号: | G06N3/08;G06N3/04 |
代理公司: | 北京盛凡智荣知识产权代理有限公司 11616 | 代理人: | 张塨 |
地址: | 610054 四川省成*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 信号 识别 卷积 神经网络 分区 剪枝 方法 | ||
1.一种信号识别卷积神经网络卷积核分区剪枝方法,其特征在于:具体包括以下步骤:
S1、构建一维卷积神经网络,然后进行训练达到收敛状态;
S2、提取步骤S1中得到收敛状态的神经网络模型的每一个卷积层的权重数组,权重数组具体的形式为三维的Numpy数组;
S3、对步骤S2中权重数组求绝对值,并对权重数组按列进行求和得到卷积核的具体权值;
S4、将步骤S3中的卷积核权值的最大值和最小值组成权重区间,将权重区间划分成4个等分区间,设定每个区间的剪枝系数,若该卷积核的权值小于该卷积核所处区间的阈值,则将该卷积核从网络中删除,遍历所有卷积核,得到每个区间大于阈值的卷积核保存下来,得到新网络模型;
S5、对步骤S4产生的新网络模型进行重新训练达到收敛状态,流程结束。
2.根据权利要求1所述的一种信号识别卷积神经网络卷积核分区剪枝方法,其特征在于:所述步骤S1包括以下子步骤:
S11、构建一维卷积神经网络,其中包含5个卷积层,一个Dropout层,一个全局平均池化层,2个全连接层,第一层卷积层的卷积核长度为20,卷积核数量为64;第二层卷积层的卷积核长度为10,卷积核数量为128;第二层卷积层之后加入dropout层,第三层卷积层的卷积核长度为10,卷积核数量为128,第四层卷积层的卷积核长度为10,卷积核数量为128,第五层卷积层的卷积核长度为10,卷积核数量为128,在第五层卷积层后面加上一个全局平均池化层,然后接着2个全连接层:
S12、训练数据集为调制识别数据集,数据集的类别为12类,训练集的样本数为36000个,验证集的样本数为6000个,输入神经网络的长度为50000,使用的深度学习框架为Keras,训练达到收敛状态的指标为训练集上的Loss和验证集上的Loss都处于收敛状态。
3.根据权利要求1所述的一种信号识别卷积神经网络卷积核分区剪枝方法,其特征在于:
所述步骤S2具体方法为:采用Keras框架中的get_weights()函数提取每一层卷积层的权重参数,得到三维的Numpy结构的权重数组K。
4.根据权利要求1所述的一种信号识别卷积神经网络卷积核分区剪枝方法,其特征在于:所述步骤S3包括以下子步骤:
S31、针对每一个卷积层的权重数组求绝对值,使得权重数组里的数都为正;
S32、对步骤S31中的权重数组如下公式按列进行求和,得到卷积核的具体权值,
其中Sj表示卷积核的具体权值,为一个float形式的数,n表示该层的卷积核个数,Ki表示权重数组。
5.根据权利要求1所述的一种信号识别卷积神经网络卷积核分区剪枝方法,其特征在于:所述步骤S4包括以下子步骤:
S41、计算求得步骤S32中得到的卷积核权值的最大值和卷积核权值的最小值;
S42、将权重区间划分成4个等分区间,并求出每个区间的均值mean与标准差std,其中均值mean的计算公式如下:
其中N表示区间元素的个数,xi表示元素的数值,μ表示均值mean;
标准差std的计算公式如下:
S43、设定每个区间的剪枝阈值,计算公式如下:
threshold=μ-thres×std
其中threshold表示该区间的剪枝阈值,thres表示该区间的剪枝系数;
S44、遍历每一个卷积核并判断其权值属于哪个区间,然后判断其权值是否小于该卷积核所处区间的阈值,若小于则将该卷积核从整个网络中删除,若大于则将该卷积核保存下来,遍历所有卷积层,得到剪枝完成后的新网络模型。
6.根据权利要求1所述的一种信号识别卷积神经网络卷积核分区剪枝方法,其特征在于:所述步骤S5包括以下子步骤:
S51、训练的数据集与原始网络所使用的数据集保持一致,即剪枝后得到的新网络模型使用的训练数据集与步骤S1中原始网络使用的数据集一样;
S52、对步骤S44剪枝完成后的新网络模型进行重新训练,达到收敛状态为止,整个流程结束。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于电子科技大学,未经电子科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010028618.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种塑壳断路器绝缘外壳精加工设备
- 下一篇:一种电动自行车取暖系统