[发明专利]一种基于图像融合和改进ResNet的图像识别方法

摘要

本发明涉及一种基于图像融合和改进ResNet的图像识别方法。本发明设计提取图像的多种特征，对大尺寸原图像进行主成分分析，分成从大到小的三个主成分向量，保留第一主成成分，即保留原图像的最大特征；然后对于两个较小的主成分分别用提取的两个特征进行替换，生成新的大尺寸图像。用新的大尺寸图像去训练改进的ResNet模型，从而提升模型对于尺寸比较大、光线强弱以及背景的干扰比较突出的图像识别分类的准确性和敏感度。

主权项

1.一种基于图像融合和改进ResNet的图像识别方法，其特征在于，/n具体包括以下步骤：/n(1)制作图像训练样本：/n(1)-1对训练图像数据集合进行相关专家标记，形成图像训练样本集合，原图像是r*c尺寸的RGB图像；/n(2)白化处理以及提取LBP特征：/n(2)-1对于原图像利用现有的数字图像处理方法分别进行提取白化特征和LBP特征，/n(3)主成分分析替换处理：/n(3)-1读取原RGB图像获得相应的矩阵，记做mol₀，即mol₀的形式为r*c*3；读取白化图像矩阵为r*c，记做ban₀；读取LBP矩阵为r*c，记做ban01₀；然后进行矩阵数据归一化预处理在0-1之间：公式(1)如下：/nmol＝mol₀/255；ban＝ban₀/255；ban01＝ban01₀/255 (1)/n(3)-2把mol的矩阵变换成一个(r*c)*3的矩阵，即把mol的每个通道矩阵变换成一行例，记为mols，然后求出mol的相关矩阵，记做correlation，公式(2)如下，其中mol’为mol的转置矩阵；然后求出特征值value与特征向量vector得到主主成分矩阵，记做pa，公式(3)如下；然后把得到的主成分矩阵变换成一个r*c*3的矩阵，记做pas；/ncorrelation＝(mol’*mol)/(r*c) (2)/npa＝mols*vector (3)/n(3)-3因为第二步骤得到的特征值value是从小到达排列的，所以pas的第三通道就是第一主成分，保留第一主成分，把剩余的两个较小的通道进行归一化处理，即每个通道的元素处于0-1之间，然后把白化处理的特征和LBP特征分别和剩余两个较小的通道主成分进行直方图匹配处理，即使ban、ban01的直方图与第二主成分、第三主成分的直方图一致；/n(3)-4直方图匹配完成后，ban、ban01分别去替换第二、三主成成分的矩阵，然后通过PCA逆变换重构融合图像形成新的RGB图像；/n(4)改进ResNet：/n(4)-1保留模型的卷积不动,去掉模型最后的平均池化层和全连接层得到r个特征图，即feature maps，然后依次加入Relu层、卷积层，其中卷积核大小为3*3，步长为2，卷积层得到下采样后的r个特征图，再加入批处理规范化层，即Batch Normalization，平均池化层得到r个1*1的特征图，然后变换成r*1的向量，最后经过全连接层得到分类结果；/n(5)训练改进的ResNet模型：/n(5)-1直接用新生成的大图像训练样本集合去训练改进的ResNet模型，得到最终的图像识别分类结果。/n