[发明专利]一种对轻量化卷积神经网络训练得到预训练模型的方法

说明书

本发明公开了一种对轻量化卷积神经网络训练得到预训练模型的方法，本方法在训练轻量化卷积神经网络时，通过识别网络的训练进度，即当网络误差趋于平缓的时候，并根据训练精度冻结网络的主干部分参数，集中算力训练剩下的参数，当网络误差再次趋于平缓的时候，将冻结的参数解冻后进行整个网络的整体训练，这样能节约训练的时间并提高网络的精度，从而达到更好的效果。通过本方法训练得到预训练模型，适用于进行迁移学习。

技术领域

本发明涉及一种卷积神经网络的训练方法，特别涉及一种轻量化卷积神经网络的训练方法。

背景技术

卷积神经网络模型被广泛应用在图像分类、物体检测、目标跟踪等计算机视觉任务中，并取得了巨大成功。然而，由于存储空间和算力资源限制，卷积神经网络模型在移动设备和嵌入式设备上的存储与计算仍然是一个巨大的挑战。

轻量化卷积神经网络旨在保持模型精度基础上进一步减少模型参数量和复杂度，逐渐成为计算机视觉中的一个研究热点。轻量化卷积神经网络既包含了对网络结构的探索，又有例如知识蒸馏、剪枝等模型压缩技术的运用，推动了深度学习技术在移动端、嵌入式端的应用落地，在智能家居、安防、自动驾驶、智慧海洋等领域都有重要贡献。

目前训练卷积神经网络的方法主要包括：直接训练和迁移学习。迁移学习即在通过大型开源数据集训练出来的预训练模型的基础上，用自己的数据集对预训练模型的参数进行微调，这样能够大大加快网络的拟合速度，提高网络的精度。

但是在实际应用当中，由于不同的数据集有不同的特征，开源的轻量化卷积神经网络无法完美的满足实际的需求，技术人员往往需要对这些轻量化卷积神经网络进行修改以达到更好的要求。然而在这种情况下，现有的训练方法存在以下问题：

1.迁移学习：由于迁移学习要求预训练模型的网络结构和当前所使用的网络结构相同，所以在对轻量化卷积神经网络的网络结构进行修改之后，无法再使用开源的预训练模型进行迁移学习。

2.直接训练：由于在实际应用中，网络的权重参数的数量非常的少而且自己使用的数据集图片数量都不多，所以在用自己的数据集直接训练时，网络拟合的速度非常慢而且精度不高。

发明内容

发明目的：针对上述现有技术，对于权重参数数量较少的轻量化卷积神经网络，提出一种对轻量化卷积神经网络训练得到预训练模型的方法，节约训练的时间并提高训练后网络的精度，得到的预训练模型适用于迁移学习。

技术方案：一种对轻量化卷积神经网络训练得到预训练模型的方法，包括如下步骤：

步骤1：构建需要进行训练的卷积神经网络模型，采集图片数据集，并对图片数据进行预处理得到训练数据；其中，所述预处理包括对图像依次进行归一化、图像翻转、色域变换等处理；

步骤2：定义变量start和end用来分别记录初始epoch和结束epoch的误差，初始epoch和结束epoch间隔a个epoch，定义变量threshold用来设置冻结参数的阈值，开始训练后，每过a个epoch，计算|start-end|的值，并与threshold相比较，threshold的值设定为b，若|start-end|的值小于threshold，则进行步骤2；

步骤3：冻结主干网络所有参数的训练，在继续训练过程中，训练除主干网络的其他部分的参数；

步骤4：每过a个epoch计算|start-end|的值，设定threshold的值为c，c小于b，若|start-end|的值小于threshold，则进行步骤4；

步骤5：解冻主干网络的参数训练，对整个网络的参数进行整体训练，直至完成网络训练得到预训练模型。

进一步的，所述a的取值范围为6~12。

进一步的，所述b的值小于1。