[发明专利]神经网络模型的训练方法及图像检索方法

权利要求书

1.一种用于图像检索的神经网络模型训练方法，其特征在于，包括：

获取用于训练的query图像；

基于semi-hard负例策略选择所述query图像的正例图像和负例图像，构成包含query图像、正例图像和负例图像的三元组；

将所述三元组的图像输入到神经网络模型中，对所述图像进行不同深度卷积层的特征提取，结合注意力网络从得到的特征图中提取感兴趣区域的局部特征；

对得到的局部特征进行聚合，得到全局特征；

根据所述全局特征对比损失函数，并通过反向传播算法更新所述神经网络模型的权重，直到达到预设的训练停止条件，完成训练。

2.根据权利要求1所述的用于图像检索的神经网络模型训练方法，其特征在于，基于semi-hard负例策略选择所述query图像的正例图像和负例图像，具体包括：

设置第一距离和第二距离，所述第一距离大于所述第二距离；

根据所述query图像，从预设的正例池中挑选与所述query图像的距离小于所述第二距离的图像，作为正例图像；

根据所述query图像，从预设的负例池中挑选与所述query图像的距离大于或等于所述第二距离，且小于所述第一距离的图像，作为负例图像。

3.根据权利要求2所述的用于图像检索的神经网络模型训练方法，其特征在于，根据所述query图像，从预设的负例池中挑选与所述query图像的距离大于或等于所述第二距离，且小于所述第一距离的图像，作为负例图像，具体包括：

根据所述query图像，从与所述query图像对应的类别不同的负例池中挑选与所述query图像的距离大于或等于所述第二距离，且小于所述第一距离的图像，作为负例图像。

4.根据权利要求1至3中任一项所述的用于图像检索的神经网络模型训练方法，其特征在于，将所述三元组的图像输入到神经网络模型中，对所述图像进行不同深度卷积层的特征提取，结合注意力网络从得到的特征图中提取感兴趣区域的局部特征，具体包括：

将所述三元组的图像输入到神经网络模型中，基于Resnet模型和FPN网络对所述图像进行不同深度卷积层的特征提取，得到特征图；

从所述特征图中选择不同的区域作为候选区域，通过注意力网络对每个所述候选区域进行处理，得到每个所述候选区域的注意力分数；

按照所述注意力分数对每个所述候选区域进行排序，将排名靠前的至少两个候选区域作为感兴趣区域；

提取每个所述感兴趣区域的局部特征。

5.根据权利要求4所述的用于图像检索的神经网络模型训练方法，其特征在于，对得到的局部特征进行聚合，得到全局特征，具体包括：

根据所述注意力分数对每个所述感兴趣区域的局部特征进行加权平均，将得到的特征作为所述图像的全局特征。

6.根据权利要求1所述的用于图像检索的神经网络模型训练方法，其特征在于，将所述三元组的图像输入到神经网络模型中之前，还包括：

对所述图像进行随机旋转和/或翻转操作。

7.一种基于神经网络模型的图像检索方法，其特征在于，包括：

获取待检索图像；

将所述待检索图像输入到使用如权利要求1至6中任一项所述的用于图像检索的神经网络模型训练方法中训练得到的神经网络模型中，得到所述待检索图像的局部特征；

根据所述局部特征计算所述待检索图像与预设图像数据库中图像的相似度；

根据所述相似度确定与所述待检索图像最相似的图像。

8.根据权利要求7所述的基于神经网络模型的图像检索方法，其特征在于，根据以下公式计算所述相似度：

其中，S为相似度，a_i为第一图像上的局部特征，i∈{0,1,…,m)，m为第一图像的局部特征的数量，b_j为第二图像上的局部特征，j∈{0,1,…,n}，n为第二图像的局部特征的数量。