[发明专利]用于手写汉字识别的深度卷积神经网络的加速压缩方法

说明书

本发明公开了用于手写汉字识别的深度卷积神经网络的加速压缩方法，包括步骤：构建并训练出一个用于手写汉字识别的深度卷积神经网络；采用低秩分解的策略，对所述深度卷积神经网络的卷积层进行逐层分解训练以减少计算量；采用网络剪枝的策略，去除所述深度卷积神经网络的卷积层以及全连接层的冗余连接以减少存储量；对所述深度卷积神经网络前向代码进行编写。与现有技术相比，本发明同时采用了对卷积层的低秩分解策略和对整个深度卷积神经网络的剪枝压缩策略，从而大幅度的减少深度卷积神经网络的计算量和存储量；有效的将低秩分解策略和对深度卷积神经网络的剪枝策略融合起来，从而达到整个深度卷积神经网络的有效的加速压缩效果。

技术领域

本发明涉及模式识别和人工智能技术领域，尤其涉及用于手写汉字识别的深度卷积神经网络的加速压缩方法。

背景技术

汉字源于象形文字，已经有几千年的历史，依旧是世界上使用人数最多的文字，众多的书写者，就意味着其有众多的书写风格，大量的类别以及相似字的存在，导致脱机手写汉字识别一直都是模式识别以及人工智能领域一个较难的问题。目前，脱机手写汉字识别已经被大量的运用在古代文档扫描、手写票据识别、扫描仪以及自然场景的文字识别等众多领域，

现在基于传统的数据预处理，然后进行特征提取，最后在加分类的框架对于脱机手写汉字的识别方法，其性能已经达到瓶颈，然而由于最近深度卷积神经网络的兴起，把脱机手写汉字的识别率提高到了一个新的高度。

然而，要想利用卷积神经网络达到一个更好的结果，人们往往直接把网络做大做深，甚至训练多个网络，然后在进行集成，虽然这样的做法可以略微可以提高网络的识别率，但是其引入的计算量和参数的存储量会急剧增加。这样一来就导致脱机手写汉字识别无法被大规模应用到实际生活中去，尤其是移动设备和嵌入式设置中。

发明内容

为克服现有技术的不足，针对现有技术中基于卷积神经网络的手写脱机汉字识别计算量大以及存储量大的缺点，采用低秩分解和网络剪枝的策略分别降低网络的计算量和存储量，提出用于手写汉字识别的深度卷积神经网络的加速压缩方法。

本发明的技术方案是这样实现的：

用于手写汉字识别的深度卷积神经网络的加速压缩方法，包括步骤

S1：构建并训练出一个用于手写汉字识别的深度卷积神经网络；

S2：采用低秩分解的策略，对所述深度卷积神经网络的卷积层进行逐层分解训练以减少计算量；

S3：采用网络剪枝的策略，去除所述深度卷积神经网络的卷积层以及全连接层的冗余连接以减少存储量；

S4：对所述深度卷积神经网络前向代码进行编写。

进一步地，步骤S1包括步骤

S11：设计所述深度卷积神经网络的结构，设置卷积层、池化层和全连接层参数，选取激活函数；

S12：将训练集的数据作为深度卷积神经网络的输入，采用随机梯度下降法对深度卷积神经网络进行训练，当深度卷积神经网络在训练集上的误差完全收敛时，终止训练，保存深度卷积神经网络各个层的参数。

更进一步地，步骤S11中每个卷积层与激活函数的之间以及第一个全连接层与激活函数之间添加有批归一化层，所述激活函数采用PReLU。

进一步地，步骤S2包括步骤

S21：通过已知低秩分解之前卷积层的计算复杂度和需要加速的倍数，计算各个低秩分解之后第一个卷积层输出特征图的数目；

S22：对整个深度卷积神经网络进行逐层低秩分解训练；

S23：对深度卷积神经网络进行微调。

进一步地，步骤S3包括步骤