[发明专利]基于改进DenseNet模型的番茄叶片病害识别方法

权利要求书

1.一种基于改进的DenseNet模型的番茄叶片病害识别方法，其特征在于包括以下步骤：

S1、对DenseNet模型进行如下四点改进，得到LGDNet(Lightweight Ghost DenseNetwork)模型：

一、先将DensenNet模型的每个Dense Block中的多个依次连接的Bottleneck layer均采用三个依次连接的Ghost bottleneck模块进行替换，将这三个依次连接的Ghostbottleneck按照先后顺序分别命名为第一Ghost bottleneck，第二Ghost bottleneck和第三Ghost bottleneck，此时，DensenNet模型中除最后一个Dense Block的第三Ghostbottleneck与其全局平均池化层连接，其中每个Dense Block中的第三Ghost bottleneck均与一个Transition Layer连接；

二、每三个依次连接的Ghost bottleneck模块中，将第二Ghost bottleneck中的第二个Ghost模块中的卷积核大小为3×3的普通卷积替换成卷积核大小为3、填充为2、步长为1、膨胀率为1的空洞卷积，以及第三Ghost bottleneck中的第二个Ghost模块中的卷积核大小为3×3的普通卷积替换成卷积核大小为3、填充为3、步长为1、膨胀率为2的空洞卷积，进一步扩大模型的感受野；

三、每三个依次连接的Ghost bottleneck模块中，在所述的第一Ghost bottleneck和所述的第二Ghost bottleneck之间、所述的第二Ghost bottleneck和所述的第三Ghostbottleneck之间以及所述的第三Ghost bottleneck和Transition Layer或全局平均池化层之间均增加一个CMIFA注意力机制模块，此时所述的第一Ghost bottleneck和所述的第二Ghost bottleneck不再直接连接，而是通过一个CMIFA注意力机制模块连接，所述的第二Ghost bottleneck和所述的第三Ghost bottleneck不再直接连接，而是通过一个CMIFA注意力机制模块连接，所述的第三Ghost bottleneck和Transition Layer或全局平均池化层不再直接连接，而是通过一个CMIFA注意力机制模块连接；

四、用最大池化层替换了Dense block中的每个Transition Layer的平均池化层；

对所述的DenseNet模型进行以上四点改进后得到的LGDNet模型包括1个FeatureBlock、4个Dense Block、3个Transition Layer、1个全局平均池化层和1个全连接层；4个Dense Block按照先后顺序，Feature Block位于第一个Dense Block之前，第一个DenseBlock和第二个Dense Block之间存在一个所述的Transition Layer，第二个Dense Block和第三个Dense Block之间存在一个所述的Transition Layer，第三个Dense Block和第四个Dense Block之间存在一个所述的Transition Layer，全局平均池化层位于第四个DenseBlock之后，全连接层位于全局平均池化层之后；所述的Feature Block由一个卷积核大小为7×7，填充为3，步长为2的卷积层和一个卷积核大小为3×3，步长为2的最大池化层组成，所述的Feature Block用于对输入其内的特征图进行降采样；每个所述的TransitionLayer均由一个卷积核大小为1×1，填充为0，步长为1的卷积层和一个卷积核大小为3×3，填充为1，步长为2的最大池化层组成，将与其连接的Dense Block输出的特征图的尺寸缩小1/2后进行输出，提高计算效率；所述的全局平均池化层用于将与其连接的Dense Block输出的特征图进行降维后得到降维特征图输出，极大地减少了LGDNet模型的参数，并LGDNet模型在结构上做正则化防止过拟合；所述的全连接层用于将所述的全局平均池化层输出的降维特征图非线性地映射成包含所有特征信息的一维特征向量，进而通过softmax函数将其转化为分类成各个类别的概率，用以获得最终的类别输出。

S2、准备数据集，具体过程为：

S2.1、在番茄种植农场拍摄患有病害的N张番茄叶片图像，其中，N为大于2000的整数，然后通过番茄叶片病害专家人工对N张番茄叶片图像对应的病害类型进行确定，得到每张番茄叶片图像的病害类型，即每张番茄叶片图像的标签；将每张番茄叶片图像按照其病害类型进行贴标签，采用此时得到N张具有标签的番茄叶片病害图像构成番茄叶片病害原始图像数据集；

S2.2、对番茄叶片病害原始图像数据集进行预处理，具体处理过程如下：

S2.2.1、采用翻转、随机旋转、亮度变换、高斯模糊、添加搅动、随机裁剪和随机平移这几种方法对番茄叶片病害原始图像数据集中的每张方法番茄叶片图像进行处理，得到番茄叶片病害扩充图像数据集；

S2.2.2、将番茄叶片病害扩充图像数据集中每张番茄叶片图像的图像分辨率均先缩放为224×224，再进行归一化处理，得到番茄叶片病害归一化图像数据集；

S2.2.3、先将番茄叶片病害归一化图像数据集中每个病害类型的番茄叶片图像按照6:2:2的比例划分为训练集、测试集和验证集，如果某个病害类型的番茄叶片图像的总数量不能被10整除，则将多余的番茄叶片图像放到该病害类型的训练集中；然后将所有病害类型的训练集组合在一起得到整体训练集，将所有病害类型的测试集组合在一起得到整体测试集，将所有病害类型的验证集组合在一起得到整体验证集；

S3、利用步骤S2得到的整体训练集输入到所述的LGDNet模型，对所述的LGDNet模型进行训练，其中所述的LGDNet模型的初始学习率设置为0.1，优化器动量设置为0.9，权重衰减设置为0.0001，batch_size设置为16，在训练过程中，使用SGDM优化算法优化所述的LGDNet模型的网络权重，使用余弦退火法将学习率动态调整为0.00001，当训练完60个epoch后就结束训练，每个epoch训练完成后就得到一个训练后的LGDNet模型，此时得到60个训练后的LGDNet模型；

S4、利用S3在每个epoch后训练所得到的LGDNet模型，对步骤S2得到的整体测试集中每个番茄叶片图像分别进行预测识别，并计算其识别准确率，按照识别准确率的大小，保存识别准确率最高的三个训练后的LGDNet模型，如果出现识别准确率最高的训练后的LGDNet模型数量超过三个的情况，则都保存；

S5、采用S4保存的所有LGDNet模型，对步骤S2得到的整体验证集中每个番茄叶片图像进行预测识别，并计算识别准确率，将其中识别准确率最高的一个的LGDNet模型作为最佳LGDNet模型，如果此时出现多个识别准确率最高的LGDNet模型，则选择在同epoch下整体测试集识别准确率最高的LGDNet模型作为最佳LGDNet模型，若此时存在多个在同epoch下整体测试集的识别准确率最高的LGDNet模型，则选择在同epoch下整体训练数据集识别准确率最高的LGDNet模型作为最佳LGDNet模型，若仍存在多个同epoch下整体训练数据集识别准确率最高的LGDNet模型，则随机选择一个LGDNet模型作为最佳LGDNet模型，保存最佳LGDNet模型的网络权重；

S6、拍摄待识别的番茄叶片病害图像，并将该番茄叶片病害图片按照步骤S2.2.2相同的方法进行处理后输入到最佳LGDNet模型进行病害识别，最佳LGDNet模型输出其识别结果以及准确度。

2.根据权利要求1所述的基于改进的DenseNet模型的番茄叶片病害识别方法，其特征在于所述的CMIFA注意力机制模块包括第一平均池化层、第二平均池化层、第一最大池化层、第二最大池化层、第一特征融合层、第一卷积层、第二卷积层和第二特征融合层；所述的CMIFA注意力机制模块分别通过所述的第一平均池化层、所述的第二平均池化层、所述的第一最大池化层、所述的第二最大池化层和所述的第二特征融合层连接位于其之前的Ghostbottleneck模块；所述的第一平均池化层的卷积核大小为1×w，用于接入与其连接的Ghostbottleneck模块输出的特征图，在宽度维度上进行平均池化的操作，得到通道为c，高为h，宽为1的特征图1输出到第一特征融合层；其中，w为与其连接的Ghost bottleneck模块输出的特征图宽度，c为与其连接的Ghost bottleneck模块输出的特征图的通道数，h为与其连接的Ghost bottleneck模块输出的特征图的高度；所述的第二平均池化层的卷积核大小为h×1，用于接入与其连接的Ghost bottleneck模块输出的特征图，在高度维度进行平均池化的操作，得到通道为c，高为1，宽为w的特征图2输出到第一特征融合层；所述的第一最大池化层的卷积核大小为1×w，用于接入与其连接的Ghost bottleneck模块输出的特征图，在宽度维度进行最大池化的操作，得到通道为c，高为h，宽为1的特征图3输出到第一特征融合层；所述的第二最大池化层的卷积核大小为h×1，用于接入与其连接的Ghostbottleneck模块输出的特征图，在高度维度进行平均池化的操作，得到通道为c，高为1，宽为w的特征图4输出到第一特征融合层；所述的第一特征融合层包含第一重塑单元和第一特征拼接单元；所述的第一重塑单元用于接入所述的第一平均池化层输出的特征图1、所述的第二平均池化层输出的特征图2、所述的第一最大池化层输出的特征图3和所述的第二最大池化层输出的特征图4，并对特征图1进行重塑操作，得到通道为1，高为c，宽为h的特征图5输出到第一特征拼接单元、对特征图2进行重塑操作，得到通道为1，高为c，宽为w的特征图6输出到第一特征拼接单元、对特征图3进行重塑操作，得到通道为1，高为c，宽为h的特征图7输出到第一特征拼接单元、对特征图4进行重塑操作，得到通道为1，高为c，宽为w的特征图8输出到第一特征拼接单元；所述的第一特征拼接单元用于接入特征图5、特征图6、特征图7和特征图8，并将特征图5、特征图6、特征图7和特征图8这4张特征图在宽度维度进行拼接得到通道为1，高为c，宽为2×h+2×w的拼接特征图9分别输出到第一卷积层和第二卷积层；所述的第一卷积层的卷积核大小为1×k₁，填充为k₁/2，步长为1，用于接入所述的第一特征融合层输出的特征图9，进行卷积处理得到通道为1，高为c，宽为2×h+2×w的特征图10输出到第二特征融合层，其中k₁采用式(1)计算：

k₁＝odd(︱log₂h ︳)                      (1)

式(1)中k₁为第一卷积层的卷积核宽度大小，odd()为向下舍入到最接近的奇数操作，||为绝对值符号；

所述的第二卷积层的卷积核大小为k₂×1，填充为k₂/2，步长为1，用于接入所述的第一特征融合层输出的特征图9，进行卷积处理得到通道为1，高为c，宽为2×h+2×w的特征图11输出到第二特征融合层；其中k₂采用式(2)计算：

k₂＝odd(︱log₂c ︳)                       (2)

式(2)中k₂为第二卷积层的卷积核高度大小；

所述的第二特征融合层包含第一逐元素相加函数、第一特征分离单元、第二重塑单元、第一Hard-sigmoid激活函数、第二Hard-sigmoid激活函数、第三Hard-sigmoid激活函数、第四Hard-sigmoid激活函数、第一逐元素相乘函数、第二逐元素相乘函数、注意力融合单元和第三逐元素相乘函数；所述的第二特征融合层通过其第三逐元素相乘函数连接相应的Ghost bottleneck模块；所述的第一逐元素相加函数用于接入所述的第一卷积层输出的特征图10和所述的第二卷积层输出的特征图11，并对这两个特征图进行逐元素相加，得到通道为1，高为c，宽为2×h+2×w的特征图12输出到所述的第一特征分离单元；所述的第一特征分离单元用于接入所述的第一逐元素相加函数输出的特征图12，并先对特征图12在宽度维度上按照h,w,h,w的大小进行分割，得到通道为1，高为c，宽为h的特征图13、通道为1，高为c，宽为w的特征图14、通道为1，高为c，宽为h的特征图15以及通道为1，高为c，宽为w的特征图16，并将特征图13、特征图14、特征图15以及特征图16输出到所述的第二重塑单元；所述的第二重塑单元用于接入特征图13、特征图14、特征图15和特征图16，并将特征图13进行重塑操作得到通道为c，高为h，宽为1的特征图17输出到所述的第一Hard-sigmoid激活函数，将特征图14进行重塑操作得到通道为c，高为1，宽为w的特征图18输出到所述的第二Hard-sigmoid激活函数，将特征图15进行重塑操作得到通道为c，高为h，宽为1的特征图19输出到所述的第三Hard-sigmoid激活函数，将特征图16进行重塑操作得到通道为c，高为1，宽为w的特征图20输出到所述的第四Hard-sigmoid激活函数；所述的第一Hard-sigmoid激活函数用于接入所述的第二重塑单元输出的特征图17，并对其通过Hard-sigmoid函数进行处理，得到通道为c，高为h，宽为1的特征图注意力1输出到所述的第一逐元素相乘函数；所述的第二Hard-sigmoid激活函数用于接入所述的第二重塑单元输出的特征图18，并对其通过Hard-sigmoid函数进行处理，得到通道为c，高为1，宽为w的特征图注意力2输出到所述的第一逐元素相乘函数；所述的第三Hard-sigmoid激活函数用于接入所述的第二重塑单元输出的特征图19，并对其通过Hard-sigmoid函数进行处理，得到通道为c，高为h，宽为1的特征图注意力3输出到所述的第二逐元素相乘函数；所述的第四Hard-sigmoid激活函数用于接入所述的第二重塑单元输出的特征图20，并对其通过Hard-sigmoid函数进行处理，得到通道为c，高为1，宽为w的特征图注意力4输出到所述的第二逐元素相乘函数；所述的第一逐元素相乘函数用于接入所述的第一Hard-sigmoid激活函数输出的特征图注意力1与所述的第二Hard-sigmoid激活函数输出的特征图注意力2，并对这两个特征图注意力进行逐元素相乘，得到通道为c，高为h，宽为w的特征图注意力5输出到所述的注意力融合单元；所述的第二逐元素相乘函数用于接入所述的第三Hard-sigmoid激活函数输出的特征图注意力3与所述的第四Hard-sigmoid激活函数输出的特征图注意力4，并对这两个特征图注意力进行逐元素相乘，得到通道为c，高为h，宽为w的特征图注意力6输出到所述的注意力融合单元；所述的注意力融合单元用于接入所述的第一逐元素相乘函数输出的特征图注意力5与所述的第二逐元素相乘函数输出的特征图注意力6，并将特征图注意力5逐元素与可适应性参数ɑ相乘得到第一个结果、以及将特征图注意力6逐元素与1-ɑ相乘得到第二个结果，然后将这两个结果逐元素相加得到通道为c，高为h，宽为w的特征图注意力7输出到所述的第三逐元素相乘函数；其中可适应性参数ɑ初始值设置为0.5，可适应性参数ɑ随着模型的不断训练会不断的进行更新，直到训练结束，每次计算时可适应性参数ɑ的取值为其当前最新值；所述的第三逐元素相乘函数用于接入特征图注意力7和与其连接的Ghost bottleneck模块输出的特征图，并对特征图注意力7和Ghost bottleneck模块输出的特征图进行逐元素相乘，得到通道为c，高为h，宽为w的特征图21输出，所述的第三逐元素相乘函数输出的特征图21即为所述的CMIFA注意力机制模块的输出，特征图21输出至位于所述的CMIFA注意力机制模块之后且与该CMIFA注意力机制模块连接的Ghost bottleneck模块、Transition Layer或全局平均池化层。