[发明专利]一种细粒度场景级基于草图的图像检索方法及系统

说明书

本发明公开了一种细粒度场景级基于草图的图像检索方法及系统，属于计算机视觉领域，为了解决现有基于草图的图像检索方法大多数面向单物体的、类别级的图像检索问题，扩展草图检索在实际生活中的应用，通过引入注意力机制，建立自适应的图卷积神经网络，并利用三元组网络进行草图与待检索图像的匹配，对场景草图与待检索图像在场景的全局布局、类别级与实例级三个层次上进行建模，整合各层次的信息，实现输入场景草图与图像的精准匹配。

技术领域

本发明属于计算机视觉领域，具体涉及一种细粒度场景级基于草图的图像检索方法及系统。

背景技术

基于草图交互的可视媒体应用一直是人机交互、计算机视觉和多媒体领域的研究热点，如何优化草图数据的基础处理以及提高基于草图的可视媒体应用的效率是研究的重点问题。草图交互被广泛地应用于生活与工作中的各个方面，包括绘画、笔记速记、文档标注、互联网行业的网页用户界面(UI)和概念设计、电影动画行业的动画与影视制作等。近年来，草图交互相关研究和应用在工业界和学术界都引起了广泛关注，其中很重要的原因之一是触屏类硬件设备的蓬勃发展(例如微软公司Surface系列触控笔记本电脑、苹果公司的Apple pencil触控笔等)。人工智能时代下，一方面，用户对于草图数据的获取更加便捷；另一方面，基于深度学习技术的草图数据算法性能不断提高。基于草图交互的应用和任务也得到空前的普及。

草图交互相关研究和应用在工业界和学术界都引起了广泛关注，其中很重要的原因之一是触屏类硬件设备的蓬勃发展(例如智能手机、平板电脑等)。人工智能时代下，一方面，用户对于草图数据的获取更加便捷；另一方面，基于深度学习技术的草图数据算法性能不断提高。基于草图交互的应用和任务的研究也得到空前发展，草图交互任务及其发展趋势包括：

(1)在草图交互任务与草图数据处理方面，草图识别、草图简化、草图上色等草图的处理技术得到了广泛的研究。Sketch-a-net基于卷积神经网络构建了草图识别算法模型，取得了良好的草图识别性能(参考文献：Yu,Qian,Yongxin Yang,Feng Liu,Yi-ZheSong,Tao Xiang,and Timothy M.Hospedales.Sketch-a-net:A deep neural networkthat beats humans.International journal of computer vision 122,no.3(2017):411-425)。Learning to simplify，能够基于数据驱动的方法自动对用户绘制的草图进行简化和优化，包括去掉杂乱多余的线条、美化线条等操作(参考文献：Simo-Serra,Edgar,Satoshi Iizuka,Kazuma Sasaki,and Hiroshi Ishikawa.Learning to simplify:fullyconvolutional networks for rough sketch cleanup.ACM Transactions on Graphics(TOG)35,no.4(2016):1-11.)。

(2)一些新的草图交互任务也被提出，例如基于草图的生成、基于草图交互的模型生成、基于强化学习的草图抽象化、基于草图的图像编辑、基于图卷积网络的草图分割。Liu等人提出一种基于场景草图的图像检索方法SceneSketcher(参考文献：Liu,Fang,Changqing Zou,Xiaoming Deng,Ran Zuo,Yu-Kun Lai,Cuixia Ma,Yong-Jin Liu,andHongan Wang.SceneSketcher:Fine-Grained Image Retrieval with Scene Sketches.In European Conference on Computer Vision,pp.718-734.Springer,Cham,2020.)，能够根据用户输入的草图检索出相似的场景图像。