[发明专利]一种联合无类别区域建议框生成和图像目标快速检索方法

说明书

本发明公开一种联合无类别区域建议框生成和图像目标快速检索方法，所述联合无类别区域建议框生成和图像目标快速检索方法包括步骤：将待检索图像输入区域建议框检测网络模型，得到待检索图像中的多种初始区域建议框的定位结果和置信度；将待检索图像和定位结果输入包括基于双线性插值的区域特征裁剪模块的GeM图像检索网络模型，得到待检索特征向量集；将待匹配图像输入包括ResNet‑50干网络的GeM图像检索网络模型，得到待匹配特征向量集；计算待检索特征向量集和待匹配特征向量集的相似性，得到全局特征向量相似性；根据置信度，微调全局特征向量相似性，得到目标区域建议框，避免生成较多的低质量区域建议框，提高了检索的精度。

技术领域

本发明涉及图像处理领域，尤其涉及一种联合无类别区域建议框生成和图像目标快速检索方法、装置、设备及计算机可读存储介质。

背景技术

大部分实际应用的视觉模型中，更多地是将目标检测作为模型的前置任务，服务于后续的实例分割、图像分类、图像检索等任务。现有技术中，目标检索没有有效考虑结合目标检测和检索方法，通常是将两者分离开来，即先进行检测，再将检测结果传到检索部分，这样造成了检索内容依赖有类别的检测结果，限制了获得的候选框质量。

目标检索的方法，传统的计算机视觉方法采用生成多尺度空间，利用空间极值点确定为图像特征点，再通过描述生成特定大小特征向量，而深度学习的方法则利用特征提取网络端到端生成指定维度特征向量。相似性计算常用高维欧氏距离计算，欧式距离是一种非常易于理解的距离计算方法，计算最大相似性。这类方法缺点只考虑了两个特征向量之间的空间距离，忽略了全局特征向量本身是由区域建议框中的图像所得到的，而预测的不同区域建议框之间的定位质量不同。因此，直接使用只考虑空间距离的相似性去衡量两个向量的距离等同于认为所有区域建议框的定位质量是相同的，这样便产生了一定程度的相似性匹配歧义，从而导致了网络模型性能下降。而且，当区域建议框数量增加时这种问题导致的性能下降更为显著，这是由于区域建议框数量增加会引入更多的低质量区域建议框。

发明内容

本发明的主要目的在于提出一种联合无类别区域建议框生成和图像目标快速检索方法、装置、设备及计算机可读存储介质，旨在提供解决如何提高区域建议框的种类和质量。联合无类别区域建议框生成和图像目标快速检索方法包括以下步骤：

将待检索图像输入区域建议框检测网络模型，得到所述待检索图像中的多种初始区域建议框的定位结果和置信度；

将所述待检索图像和所述定位结果输入包括基于双线性插值的区域特征裁剪模块的GeM图像检索网络模型，得到待检索特征向量集；

将待匹配图像输入包括ResNet-50干网络的GeM图像检索网络模型，得到待匹配特征向量集；

计算所述待检索特征向量集和所述待匹配特征向量集的相似性，得到全局特征向量相似性；

根据所述置信度，微调所述全局特征向量相似性，得到目标区域建议框。

在一种实施方式中，所述将所述待检索图像和所述定位结果输入包括基于双线性插值的区域特征裁剪模块的GeM图像检索网络模型，得到待检索特征向量集的步骤包括：

基于双线性插值的区域特征裁剪模块，得到与所述待检索图像对应的含有整型宽高区域建议框的深度特征图；

将所述深度特征图输入GeM图像检索网络模型中的广义平均池化模块和白化模块，得到待检索特征向量集。

在一种实施方式中，所述基于双线性插值的区域特征裁剪模块，得到与所述待检索图像对应的含有整型宽高区域建议框的深度特征图的步骤包括：

根据所述定位结果将所述初始区域建议框映射至所述待检索图像上，得到具有浮点型宽高区域建议框的特征图；

根据所述具有浮点型宽高区域建议框的特征图确定具有整型宽高区域建议框的深度特征图。