[发明专利]一种跨类型图像相似度度量方法及系统

说明书

本发明公开一种跨类型图像相似度度量方法及系统，涉及计算机图像处理领域。所述方法包括：构建图像边缘特征自编码器、搭建跨类型图像相似度度量网络；当进行相似度度量时，将原图输入图像边缘特征自编码器，得到与原图相对应的边缘特征图，将边缘特征图输入跨类型图像相似度度量网络，查找与生成的边缘特征图相似程度最大的图片，输出相似程度，完成跨类型图像的相似度度量。采用本申请技术方案能够提高图像特征的高效提取，提高度量准确度。

技术领域

本发明涉及计算机图像处理领域，尤其涉及一种跨类型图像相似度度量方法及系统。

背景技术

伴随着深度学习的快速发展，计算机视觉得到了人们广泛的关注，并且在生活中的各个领域得以广泛应用。相似度度量技术则是深度学习和计算机视觉等领域最重要的技术之一，且应用前景十分广阔。比如生活中的人脸识别、门禁系统以及智能驾驶等无不用到相似度度量的关键技术，且表现效果优良。计算机视觉作为大数据支持的机器学习方法，识别图像具有高效率高集中等优点，对于几万甚至几十万的数据图片也能做到在几秒内查询需要回答的最优解，这是人工对比所做不到的优势。因此跨类型图像相似度度量技术将成为未来图像对比的关键技术之一。

在相似度度量方面目前应用最多效果最好的便是孪生神经网络，它在原图与原图之间进行相似度度量的效果卓越，能实现准确率高达90％以上，人脸识别、以图搜物、门禁系统等大部分原图相似度度量技术上都应用了孪生神经网络的思想，但是它在跨类型图像方面的度量准确率较低，仅仅只有40％左右。这是因为跨类型图像之间表达自己属性特征的方式有所不同，比如边缘特征图表达自己属性特征的只有边缘特征，而原图却在边缘特征的基础上还具有像素特征、细节特征、空间关系特征等多数特征表达自己的属性，由于边缘特征图中含有的特征太少，不能满足同原图度量的特征要求，所以表现出来的度量准确率较低。

基于以上问题，本发明提出的一种跨类型图像相似度度量方法。

发明内容

本发明提供了一种跨类型图像相似度度量方法，包括：

构建图像边缘特征自编码器，对输入图像进行边缘特征提取，得到边缘特征标签图，提取完成后对边缘特征标签图的特征进行重构，将重构图片与边缘特征标签图对比生成损失函数，使用损失函数优化图像边缘特征自编码器中的卷积参数；

使用ImageNet中的数据对孪生神经网络进行分类训练，将边缘特征标签图输入训练后的孪生神经网络进行图像相似度度量，搭建跨类型图像相似度度量网络；

当进行相似度度量时，将原图输入图像边缘特征自编码器，得到与原图相对应的边缘特征图，将边缘特征图输入跨类型图像相似度度量网络，从数据库中查找与生成的边缘特征图相似程度最大的图片，输出相似程度，完成跨类型图像的相似度度量。

如上所述的一种跨类型图像相似度度量方法，其中，图像边缘特征自编码器为没有全连接层的卷积神经网络，即全由卷积操作组成，用于生成与原图像素相同的边缘特征图；图像边缘特征自编码器包括编码器和解码器，编码器对图像进行特征提取操作，解码器对图像进行重构操作。

如上所述的一种跨类型图像相似度度量方法，其中，图像边缘特征自编码器的训练方法具体包括如下子步骤：

通过调节canny算子的高低阈值得到效果优良的线条图；

将原图作为输入放入U2net全卷积网络中生成与原图相同分辨率的生成图；

将原图对应的线条图作为标签，计算生成图与线条图之间像素的距离来产生损失函数；

将损失函数反向传播到U2net网络中，更新U2net网络参数，训练一定次数后，使得U2net具备提取原像边缘特征图的能力，由此便得到了图像边缘特征自编码器。

如上所述的一种跨类型图像相似度度量方法，其中，跨类型图像相似度度量网络模型训练，包括如下子步骤：