[发明专利]基于稀疏化双线性卷积神经网络的细粒度图像分类方法

摘要

本发明涉及一种基于稀疏化双线性卷积神经网络的细粒度图像分类方法，对双线性卷积神经网络进行特征通道裁剪，训练过程中会自动稀疏特征通道并辨别特征通道对于分类的重要性，按照重要性进行大小排序进行比例裁剪。将双线性卷积神经网络的输出输入到批量正则化中，利用BN的缩放因子作为比例因子，并对其施加正则化方法，正则化方法有多种如L1，L2，其中L1的稀疏性较强，通过联合训练网络权重和比例因子，就能实现特征通道的稀疏，最后按照稀疏后比例因子的大小排序进行剪枝，最后利用通过微调得到最终进行细粒度图像分类任务的模型。可以实现弱监督且减少冗余参数，防止过拟合发生，有效提高细粒度图像分类的准确率。

主权项

1.一种基于稀疏化双线性卷积神经网络的细粒度图像分类方法，其特征在于，具体包括如下步骤：1)双线性卷积神经网络建立：首先构建用于细粒度图像分类的双线性模型，两层特征提取通道A与B采用VGG‑16网络，通过双线性模型分别输出特征，通过矩阵的外积操作进行汇聚，从而得到一个双线性特征，将图像中所有位置的双线性特征相加聚合以获得全局图像，将得到的所有特征向量输入最后的分类函数C进行分类；2)特征提取网络VGG‑16中各卷积层的输入输出称为特征通道，每个卷积层包含激活函数，通过在卷积层间插入BN层，利用正则化操作对BN层中的比例因子γ进行稀疏，从而形成稀疏层，得到稀疏化双线性模型；3)对构建的稀疏化双线性模型进行模型训练，得到最终模型：第一步粗训练，设置较大学习步长，仅模型最后softmax分类层进行训练，训练周期为50～100；第二步微调，设置较小学习步长，具体根据数据集确定，训练模型中所有参数，训练周期设置为50；最后裁剪微调，根据设置的阈值裁剪特征通道，并微调训练，学习步长与与第二步一致，训练周期为20～50，训练后获得到最终模型。