[发明专利]一种基于深度学习的手绘草图以图搜图方法

说明书

本发明公开了一种基于深度学习的手绘草图以图搜图方法，包括将图像数据库中的图片输入边缘特征提取器获得边缘特征，再将该边缘特征输入深度特征提取器，得到一张图像的线条特征表示向量，通过图像特征持久化服务进行储存，将待搜索的图像边缘深度特征向量进行二值化压缩后缓存到以图搜图引擎中；将用户输入的手绘草图送入特征提取器，得到线条特征表示向量，用该特征向量以及所需要的最相似图片数量向以图搜图引擎进行请求，以图搜图引擎获得特征向量之后进行二值化处理，然后将该特征与缓存中的图像特征进行相似度计算，将相应请求数量的最相似的图片ID按相似度进行排序后向图像数据库进行请求，通过ID索引图片之后将结果返回给请求者。

技术领域

本发明涉及图形检索技术领域，具体为一种基于深度学习的手绘草图以图搜图方法。

背景技术

以图搜图，是通过输入一张图片来搜索相似的图片的一种技术，为用户提供相关图形图像资料检索的搜索技术。涉及了数据库、数据缓存、计算机视觉、图像处理、信息检索等诸多学科。其重点技术在于特征表示和相似性度量。以图搜图服务在大数据图像检索、互联网图片素材搜索、购物搜索等多种领域都有广泛应用。目前，采用基于深度神经网络的分类器能够在视觉任务上取得十分理想的效果。

Karen Simonyan和Andrew Zisserman提出一种用于分类的深度神经网络结构，被称为VGG(Visual Geometry Group)网络，该网络有很强的特征抽取能力，在分类和检测以及其他视觉任务上表现良好；VGG网络的隐层特征包含了一定的视觉特征和语义信息。

感知哈希(Perceptual Hash)是一种根据图片内容和特征抽取其消息摘要的技术。与密码学哈希不同，密码学哈希对于输入的极为微小的变化都会产生差别很大的哈希值，而感知哈希的特点是如果两幅图片相似，那么它们的感知哈希值也相近。感知哈希在图像信息检索技术中广泛采用，传统以图搜图技术往往采用感知哈希进行图像特征提取。

对于基于深度学习的以图搜图算法,通过神经网络组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。它显著的优点是可抽象出高级特征，构建出复杂高性能的模型。采用VGG网络的中间层进行特征抽取有效的解决了特征抽取问题。

Saining Xie和Zhuowen Tu提出了一种用于边缘检测的深度神经网络HED(Holistically-nested Edge Detection)，该网络通过结合不同尺度的特征进行边缘提取，取得良好的效果，其结果相较于传统的边缘检测算子更加的自然。

但是传统的以图搜图都是通过现有的图片进行搜索，然而存在一类情况，即作为搜索请求的图片并不存在，只有人为概念性表达的手绘草图，人们希望通过简单的手绘草图搜索出形式或者概念上相匹配的图片。为解决现有技术的缺点和不足，本发明提出一种基于深度迁移学习的手绘草图搜索技术，运用深度神经网络提取图片的线条特征，用按位汉明距离进行相似性度量，从而实现高性能的相似度计算。

发明内容

本发明的目的在于提供一种基于深度学习的手绘草图以图搜图方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于深度学习的手绘草图以图搜图方法，包括以下操作步骤：

S1：利用训练边缘特征提取器构建一个神经网络用于提取图像边缘，通过边缘特征数据进行训练，之后该神经网络可以作为图像边缘信息提取器提取图像的边缘的信息；

S2：利用获取深度特征提取器通过训练或者直接使用预训练的深度神经网络，将其中间层的特征作为深度特征；

S3：将图像数据库中的图片输入边缘特征提取器获得边缘特征，再将该边缘特征输入深度特征提取器，得到一张图像的线条特征表示向量，通过图像特征持久化服务进行储存，用图片ID进行索引；