[发明专利]基于特征融合的花粉图像检测方法及系统

权利要求书

1.一种基于特征融合的花粉图像检测方法，其特征在于，包括：

将经预处理的花粉图像，输入卷积神经网络得到浅层特征；

基于所述浅层特征，通过空间注意力模块生成空间注意力加权特征图和空间注意力权值矩阵；

由所述空间注意力加权特征图通过卷积和下采样生成深层特征图，由所述深层特征图经过通道注意力模块，生成通道注意力加权特征图；

将所述空间注意力权值矩阵和所述通道注意力加权特征图，输入到跨连接注意力机制，得到特征融合后的特征图；

将所述特征融合后的特征图输入预测模块，得到花粉图像中的花粉信息的检测结果。

2.根据权利要求1所述的基于特征融合的花粉图像检测方法，其特征在于，所述跨连接注意力机制包括：

通过平均池化操作和最大池化操作，对所述空间注意力权值矩阵进行聚合，并通过元素求和进行合并，得到空间相似度权值矩阵；

将通道注意力加权特征图与数据整形后的空间相似度权值矩阵相乘得到优化后的深层特征图，并对所述优化后的深层特征图、下采样后的空间注意力加权特征图、所述通道注意力加权特征图求和，生成特征融合后的特征图。

3.根据权利要求1所述的基于特征融合的花粉图像检测方法，其特征在于，所述浅层特征通过空间注意力模块，生成空间注意力加权特征图和空间注意力权值矩阵，包括：

将浅层特征图进行卷积并进行矩阵相乘，通过Softmax函数，得到空间注意力权值矩阵；

卷积后的所述浅层特征图与空间注意力权值矩阵进行矩阵相乘，得到聚合所有空间上下文信息的空间信息融合特征图；

将空间信息融合特征图与原始浅层特征图进行逐元素相加，得到空间注意力加权特征图。

4.根据权利要求1所述的基于特征融合的花粉图像检测方法，其特征在于，所述深层特征图经过通道注意力模块，生成通道注意力加权特征图，包括：

将所述深层特征图转置后与所述深层特征图相乘，通过所述Softmax函数，得到通道注意力权值矩阵；

将所述深层特征图与所述通道注意力权值矩阵相乘，得到融合全部通道上下文信息的通道信息融合特征图；

将所述通道信息融合特征图与所述深层特征图进行逐元素相加，得到融合通道上下文信息的所述通道注意力加权特征图。

5.根据权利要求1所述的基于特征融合的花粉图像检测方法，其特征在于，所述预测模块包括分类分支和位置回归分支，其中

所述分类分支用于预测当前检测区域是花粉还是背景，

所述位置回归分支用于预测花粉的精确位置。

6.根据权利要求1所述的基于特征融合的花粉图像检测方法，其特征在于，花粉图像的预处理包括：使用随机亮度、随机饱和度、随机水平翻转、随机噪声和/或随机缩放裁剪，对花粉图像数据集进行增强。

7.一种基于特征融合的花粉图像检测系统，其特征在于，包括：

图像处理模块，用于对花粉图像进行预处理和图像增强，得到经预处理的花粉图像；

卷积模块，用于将所述经预处理的花粉图像输入卷积神经网络得到浅层特征；

空间注意力模块，用于基于所述浅层特征，生成空间注意力加权特征图和空间注意力权值矩阵；

卷积及下采样模块，用于对所述空间注意力加权特征进行卷积和下采样生成深层特征图；

通道注意力模块，基于所述深层特征图生成通道注意力加权特征图；

跨连接注意力模块：基于所述空间注意力权值矩阵和所述通道注意力加权特征图，得到优化后的深层特征图，并且将所述优化后的深层特征图、下采样后的空间注意力加权特征图、所述通道注意力加权特征图进行特征融合生成特征融合后的特征图；

花粉预测模块，用于将所述特征融合后的特征图输入预测模块，得到花粉图像中的花粉信息的检测结果。

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的基于特征融合的花粉图像检测方法的步骤。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于特征融合的花粉图像检测方法的步骤。