[发明专利]一种跨类型图像相似度度量方法及系统

权利要求书

1.一种跨类型图像相似度度量方法，其特征在于，包括：

构建图像边缘特征自编码器，对输入图像进行边缘特征提取，得到边缘特征标签图，提取完成后对边缘特征标签图的特征进行重构，将重构图片与边缘特征标签图对比生成损失函数，使用损失函数优化图像边缘特征自编码器中的卷积参数；

使用ImageNet中的数据对孪生神经网络进行分类训练，将边缘特征标签图输入训练后的孪生神经网络进行图像相似度度量，搭建跨类型图像相似度度量网络；

当进行相似度度量时，将原图输入图像边缘特征自编码器，得到与原图相对应的边缘特征图，将边缘特征图输入跨类型图像相似度度量网络，从数据库中查找与生成的边缘特征图相似程度最大的图片，输出相似程度，完成跨类型图像的相似度度量。

2.如权利要求1所述的一种跨类型图像相似度度量方法，其特征在于，图像边缘特征自编码器为没有全连接层的卷积神经网络，即全由卷积操作组成，用于生成与原图像素相同的边缘特征图；图像边缘特征自编码器包括编码器和解码器，编码器对图像进行特征提取操作，解码器对图像进行重构操作。

3.如权利要求1所述的一种跨类型图像相似度度量方法，其特征在于，图像边缘特征自编码器的训练方法具体包括如下子步骤：

通过调节canny算子的高低阈值得到效果优良的线条图；

将原图作为输入放入U2net全卷积网络中生成与原图相同分辨率的生成图；

将原图对应的线条图作为标签，计算生成图与线条图之间像素的距离来产生损失函数；

将损失函数反向传播到U2net网络中，更新U2net网络参数，训练一定次数后，使得U2net具备提取原像边缘特征图的能力，由此便得到了图像边缘特征自编码器。

4.如权利要求1所述的一种跨类型图像相似度度量方法，其特征在于，跨类型图像相似度度量网络模型训练，包括如下子步骤：

取孪生神经网络的一侧网络，对这一侧网络使用Imagenet中的数据进行分类处理，构造出分类效果卓越的网络，增加网络对图像类与类之间的判别性，将此侧网络作为孪生神经网络中两个共生神经网络的参数；

将两张边缘特征图输入孪生神经网络，输出两个特征向量，计算两个特征向量的余弦距离，得到图像相似度程度的标量；

将标量与数据库中相似标签做对比产生用于反馈输出结果与真实值之间差距的损失函数，将损失函数反向传输至孪生神经网络，实现孪生神经网络的参数更新；孪生神经网络的两个模型的网络参数是共享的，当某一模型网络参数更新时另一模型相应更新。

5.如权利要求4所述的一种跨类型图像相似度度量方法，其特征在于，使用Googlenet卷积神经网络作为孪生网络两侧共生网络的结构模型，Googlenet网络中包括inception结构以及两个辅助分类器，inception是模块化结构，使用一、三和五大小的卷积核方便各卷积生成的特征矩阵图像对齐，将卷积过程中的步长设置为一，填充量分别设置为零、一和二，使得inception中各卷积生成相同维度大小的特征矩阵图像，使用大小不同的卷积核让网络在收集特征矩阵时得到不同感受野的视角，再将特征矩阵进行拼接从而丰富卷积对图像的特征提取；Googlenet中的辅助器防止网络深度学习中出现梯度消失结果。

6.如权利要求4所述的一种跨类型图像相似度度量方法，其特征在于，孪生神经网络由两个完全相同的网络组成，网络结构包括三部分，分别是对图片进行特征提取的卷积部分、将特征提取图片拟合为分类向量的全连接部分、及对比提取分类向量之间距离的全连接层；对两个相同的神经网络输入不同的图像，在卷积部分提取各自图像的特征矩阵再通过全连接层将特征矩阵拟合为分类向量，将两分类向量计算合并为一个新的向量，将新的向量输入最后的全连接层得到一个标量。

7.如权利要求4所述的一种跨类型图像相似度度量方法，其特征在于，反馈输出结果与真实值之间差距的损失函数表示为其中，D表示距离函数，K是参数为θ的孪生网络，G是对原图图像的自动边缘特征提取，β表示与原图相对应的线条图，E表示对所有图像的期望分析，为均方差，等价于一个余弦相似函数。