[发明专利]基于特征融合的花粉图像检测方法及系统

说明书

本发明提供一种基于特征融合的花粉图像检测方法，包括：将经预处理的花粉图像，输入卷积神经网络得到浅层特征；基于浅层特征，通过空间注意力模块生成空间注意力加权特征图和空间注意力权值矩阵；由空间注意力加权特征图通过卷积和下采样生成深层特征图，由深层特征图经过通道注意力模块，生成通道注意力加权特征图；将空间注意力权值矩阵和通道注意力加权特征图，输入到跨连接注意力机制，得到特征融合后的特征图；将特征融合后的特征图输入预测模块，得到花粉图像中的花粉信息的检测结果。本发明通过跨连接注意力机制将浅层特征中花粉细节信息加权融合到深层特征，对深层特征进行优化后，再进行特征融合，可以恢复花粉图像更多花粉细节。

技术领域

本发明涉及图像识别技术领域，更具体地，涉及一种基于特征融合的花粉图像检测方法及系统。

背景技术

随着城市化进程的不断发展，花粉过敏逐渐变为一个重大的公共卫生问题。传统的人工花粉监测方式因为周期长成本高等缺点，已不能满足现在的花粉预报需求。因此，开发自动花粉识别系统对于花粉过敏患者的正常生活具有重大意义。

花粉颗粒检测是花粉自动识别系统的核心任务，目的是从图片中自动检测花粉的位置并判断花粉的所属类别。而花粉类别的确定，需要比较丰富的细节信息的支持，主要包括花粉的轮廓以及纹理。因此，在特征提取方面，不仅需要考虑深层特征的全局语义信息，更要补充浅层特征中花粉颗粒的空间结构和纹理细节等信息，以实现更精准的花粉分类。

目前研究一般使用特征金字塔进行特征融合，直接将浅层特征和深层特征相加。但是深层特征的下采样倍率较高，会导致花粉图片细节丢失严重，并且浅层特征中包含了比较多的噪声，因此，采用直接加和的方式难以恢复精细的花粉细节，会导致花粉类别的确定不精准，影响花粉检测模型的准确率。

发明内容

针对现有技术中的不足，本发明提供了一种基于特征融合的花粉图像检测方法及系统，通过跨连接注意力机制将浅层特征中花粉细节信息加权融合到深层特征，对深层特征进行优化后，再进行特征融合，可以恢复花粉图像更多花粉细节。

具体地，本发明是通过以下技术方案来实现的：

第一方面，本发明提供了一种基于特征融合的花粉图像检测方法，包括：

将经预处理的花粉图像，输入卷积神经网络得到浅层特征；

基于所述浅层特征，通过空间注意力模块生成空间注意力加权特征图和空间注意力权值矩阵；

由所述空间注意力加权特征图通过卷积和下采样生成深层特征图，由所述深层特征图经过通道注意力模块，生成通道注意力加权特征图；

将所述空间注意力权值矩阵和所述通道注意力加权特征图，输入到跨连接注意力机制，得到特征融合后的特征图；

将所述特征融合后的特征图输入预测模块，得到花粉图像中的花粉信息的检测结果。

进一步地，所述跨连接注意力机制包括：

通过平均池化操作和最大池化操作，对所述空间注意力权值矩阵进行聚合，得到空间相似度权值矩阵；

将通道注意力加权特征图与数据整形后的空间相似度权值矩阵相乘得到优化后的深层特征图，并对所述优化后的深层特征图、下采样后的空间注意力加权特征图、所述通道注意力加权特征图求和，生成特征融合后的特征图。

进一步地，所述浅层特征通过空间注意力模块，生成空间注意力加权特征图和空间注意力权值矩阵，包括：

将浅层特征图进行卷积并进行矩阵相乘，通过Softmax函数，得到空间注意力权值矩阵；

卷积后的所述浅层特征图与空间注意力权值矩阵进行矩阵相乘，得到聚合所有空间上下文信息的空间信息融合特征图；