[发明专利]基于注意力机制和集成学习的冰箱食材检测方法及装置

权利要求书

1.一种基于注意力机制和集成学习的冰箱食材检测方法，其特征在于，包括：

获得训练完备后的冰箱食材检测集成模型，所述冰箱食材检测集成模型包括模型结构不相同的第一冰箱食材检测模型和第二冰箱食材检测模型，所述第一冰箱食材检测模型包括联合注意力机制模块；

获取待检测冰箱食材图像，并基于所述冰箱食材检测集成模型对所述待检测冰箱食材图像进行检测，获得所述待检测冰箱食材图像的检测结果。

2.根据权利要求1所述的基于注意力机制和集成学习的冰箱食材检测方法，其特征在于，所述第一冰箱食材检测模型为YOLOv5s模型，所述第二冰箱食材检测模型为EfficientDet模型。

3.根据权利要求1所述的基于注意力机制和集成学习的冰箱食材检测方法，其特征在于，所述联合注意力机制模块包括改进通道注意力机制子模块、改进空间注意力机制子模块以及联合子模块；

所述改进通道注意力机制子模块包括依次连接的通道残差单元、通道池化层、通道卷积层、第一通道激活函数、通道全连接层、第二通道激活函数以及通道特征加权层，所述通道池化层包括并行的通道平均池化层以及通道最大池化层；

所述改进空间注意力机制子模块包括依次连接的空间残差单元、空间池化层、空间卷积层、第一空间激活函数、空间全连接层、第二空间激活函数以及空间特征加权层，所述空间池化层包括并行的全局平均池化层以及全局最大池化层；

所述联合子模块包括联合卷积层，所述联合卷积层用于对所述通道特征加权层的输出和所述空间特征加权层的输出进行卷积操作，获得联合注意力特征图。

4.根据权利要求1所述的基于注意力机制和集成学习的冰箱食材检测方法，其特征在于，所述冰箱食材检测集成模型还包括预测格式统一化模块以及预测模块，所述预测格式统一化模块和所述预测模块设置于所述第一冰箱食材检测模型和第二冰箱食材检测模型之后，用于分别对所述第一冰箱食材检测模型的第一预测结果和所述第二冰箱食材检测模型的第二预测结果进行编码，对应获得第一目标预测结果和第二目标预测结果；

所述第一目标检测结果包括第一目标检测置信度，所述第二目标检测结果包括第二目标检测置信度，所述预测格式统一化模块还用于基于预设的权重对所述第一目标检测置信度和所述第二目标检测置信度进行加权，对应获得第一加权检测置信度和第二加权检测置信度；

所述预测模块用于根据第一加权检测置信度和第二加权检测置信度获得所述待检测冰箱食材图像的检测结果。

5.根据权利要求4所述的基于注意力机制和集成学习的冰箱食材检测方法，其特征在于，所述第一目标检测结果还包括第一预测框和第一目标检测类别，所述第二目标检测结果还包括第二预测框和第二目标检测类别；所述冰箱食材检测集成模型还包括设置于所述预测格式统一化模块和所述预测模块之间的去重模块，所述去重模块用于当所述第一目标检测类别和所述第二目标检测类别相同时，根据所述第一预测框的框选范围和所述第二预测框的框选范围确定所述第一预测框和所述第二预测框中的目标预测框。

6.根据权利要求5所述的基于注意力机制和集成学习的冰箱食材检测方法，其特征在于，所述根据所述第一预测框的框选范围和所述第二预测框的框选范围确定所述第一预测框和所述第二预测框中的目标预测框，包括：

根据所述第一预测框的框选范围和所述第二预测框的框选范围确定所述第一预测框和所述第二预测框的交集面积和并集面积，并根据所述交集面积和所述并集面积确定交并比；

判断所述交并比是否大于阈值交并比，所述第一预测框的框选范围是否大于预设范围阈值，所述第二预测框的框选范围是否大于预设范围阈值；

当所述交并比大于阈值交并比时，或所述第一预测框的框选范围大于预设范围阈值且所述第二预测框的框选范围大于预设范围阈值时，根据所述第一目标检测置信度和所述第二目标检测置信度确定冗余预测框，并删除所述冗余预测框。

7.根据权利要求1所述的基于注意力机制和集成学习的冰箱食材检测方法，其特征在于，在所述获取待检测冰箱食材图像之后，还包括：

对所述待检测冰箱食材图像进行伪彩色图像处理。