[发明专利]谷物密度估计方法、存储介质及谷物密度估计设备

权利要求书

1.一种谷物密度估计方法，其特征在于，包括以下步骤：

获取待估计谷物图像，并对所述待估计谷物图像中的一种或多种谷物籽粒进行标注，得到M组N个不同尺度的标注框，其中，N=（k+1）*M，M为大于等于3的整数，k为大于等于2的整数；

利用预先训练好的特征提取模块对所述待估计谷物图像进行特征提取，得到多个特征图；

利用预先训练好的多尺度特征相关性计算模块通过ROI Align操作将N个标注框分别映射到各所述特征图上，得到各所述特征图的M组估计样本特征，并对各所述特征图与相应的估计样本特征进行特征相关性计算，得到多组密度图，其中，每组密度图的数量为M；

利用预先训练好的特征融合模块对所述多组密度图进行融合处理，得到所述待估计谷物图像中与所标注谷物籽粒同类别的谷物籽粒数；

k=2时，所述对所述待估计谷物图像中的一种或多种谷物籽粒进行标注，得到M组N个不同尺度的标注框，包括：

在所述待估计谷物图像中针对第一类别谷物籽粒绘制当前标注框，得到所述当前标注框的当前尺度信息；

判断所述当前尺度信息是否大于上一个标注框的尺度信息与第一缩放系数的乘积，或者，小于所述上一个标注框的尺度信息与第二缩放系数的乘积，其中，所述第一缩放系数大于所述第二缩放系数；

若否则返回所述在所述待估计谷物图像中绘制当前标注框的步骤，若是则判断所述当前标注框对应的序号是否为M；

若不为M则在所述待估计谷物图像中针对所述第一类别谷物籽粒或其他类别谷物籽粒绘制下一个标注框，并进行下一个标注框的尺度判断，若为M则根据所述第一缩放系数、所述第二缩放系数分别对M个标注框进行缩放处理，得到M组N个不同尺度的标注框，其中，N=3*M。

2.如权利要求1所述的谷物密度估计方法，其特征在于，所述特征提取模块采用ResNet50网络，所述ResNet50网络包括：依次连接的7×7步长为2的卷积层、3×3步长为2的池化层、四个阶段的bottleneck层。

3.如权利要求2所述的谷物密度估计方法，其特征在于，每个bottleneck层对输入图的处理流程包括：

对所述输入图依次进行1×1卷积、批归一化、激活函数ReLu处理，得到第一输出图；

对所述第一输出图依次进行3×3卷积、批归一化、激活函数ReLu处理，得到第二输出图；

对所述第二输出图依次进行1×1卷积、批归一化处理，得到第三输出图；

在所述输入图的维度与所述第三输出图的维度一致时，对所述输入图与所述第三输出图进行特征融合，之后进行激活函数ReLu处理；

在所述输入图的维度与所述第三输出图的维度不一致时，对所述输入图依次进行1×1卷积、批归一化处理，得到第四输出图，并对所述第四输出图与所述第三输出图进行特征融合，之后进行激活函数ReLu处理。

4.如权利要求2所述的谷物密度估计方法，其特征在于，所述特征图的数量为3，所述四个阶段分别记为stage1、stage2、stage3、stage4，通过下式进行特征相关性计算：

R_h，j^similarity=Conv(R_h^query,R_h，j^key)，

其中，h=2,3,4，j=1,2,…,M，R_h^query表示stage h输出的特征图，R_h，j^key表示所述待估计谷物图像中第j组标注框经过3×3ROI Align映射到stage h输出的特征图上的估计样本特征，Conv（）表示卷积函数，R_h，j^similarity表示stage h输出的特征图对应的第j个密度图。