[发明专利]用于手写汉字识别的深度卷积神经网络的加速压缩方法

权利要求书

1.用于手写汉字识别的深度卷积神经网络的加速压缩方法，其特征在于，包括步骤:

S1：构建并训练出一个用于手写汉字识别的深度卷积神经网络；

S2：采用低秩分解的策略，对所述深度卷积神经网络的卷积层进行逐层分解训练以减少计算量；

S3：采用网络剪枝的策略，去除所述深度卷积神经网络的卷积层以及全连接层的冗余连接以减少存储量；

S4：对所述深度卷积神经网络前向代码进行编写；

步骤S2包括步骤:

S21：通过已经低秩分解之前卷积层的计算复杂度和需要加速的倍数，计算各个低秩分解之后第一个卷积层输出特征图的数目；

S22：对整个深度卷积神经网络进行逐层低秩分解训练；

S23：对深度卷积神经网络进行微调；

步骤S23对深度卷积神经网络进行微调方法为：由于在低秩分解卷积层时，是从第二个卷积开始进行低秩分解直到最后一个卷积层，第一个卷积层和全连接层以及输出层的参数始终是固定住的，所以当把所有需要低秩分解的层进行低秩分解之后，在用之前保存下来各个层的参数对网络进行初始化，对网络重新进行训练，进一步提高网络的识别率，达到微调的效果。

2.如权利要求1所述的用于手写汉字识别的深度卷积神经网络的加速压缩方法，其特征在于，步骤S1包括步骤:

S11：设计所述深度卷积神经网络的结构，设置卷积层、池化层和全连接层参数，选取激活函数；

S12：将训练集的数据作为深度卷积神经网络的输入，采用随机梯度下降法对深度卷积神经网络进行训练，当深度卷积神经网络在训练集上的误差完全收敛时，终止训练，保存深度卷积神经网络各个层的参数。

3.如权利要求2所述的用于手写汉字识别的深度卷积神经网络的加速压缩方法，其特征在于，步骤S11中每个卷积层与激活函数之间以及第一个全连接层与激活函数之间添加批归一化层，所述激活函数采用PReLU。

4.如权利要求1所述的用于手写汉字识别的深度卷积神经网络的加速压缩方法，其特征在于，步骤S3包括步骤:

S31：对已经低秩分解后的深度卷积神经网络模型进行再训练，去掉网络中的冗余连接；

S32：对深度卷积神经网络的各层的剩余连接的权值进行k-means聚类；

S33：对聚类所得的结果进行微调；

S34：对深度卷积神经网络的层参数进行编码；

步骤S33对聚类所得的结果进行微调的方法为：在深度卷积神经网络损失值进行反向传播时，将属于同一个聚类中心的连接的梯度值相加得到其和，这样每一个聚类中心都有一个与之相对应的梯度加和值，在将上述步骤S32进行k-means聚类后的值减去与其相对应的梯度加和值与此时网络学习率的乘积；将各网络连接的权值更新为该进行k-means聚类后的值减去与其相对应的梯度加和值与此时网络学习率的乘积后的值，重复上述步骤直到网络训练收敛，停止训练。

5.如权利要求1所述的用于手写汉字识别的深度卷积神经网络的加速压缩方法，其特征在于，步骤S4包括步骤:

S41：编写卷积层的前向代码；

S42：编写池化层的前向代码；

S43：编写全连接层的前向代码。