[发明专利]一种草图数据重用与场景草图辅助构建方法及系统

说明书

本发明公开一种草图数据重用与场景草图辅助构建方法及系统，属于计算机视觉领域，利用草图交互的高效信息表征的优势，基于草图修复以及基于草图的图像检索等草图智能处理技术，对已有的草图素材进行提取和重用；利用提取的草图素材以及数据库中存储的草图数据辅助用户进行场景草图构建，从而用于草图检索、视频定位等后续应用。

技术领域

本发明属于计算机视觉领域，具体涉及一种草图数据重用与场景草图辅助构建方法及系统。

背景技术

基于草图交互的可视媒体应用一直是人机交互、计算机视觉和多媒体领域的研究热点，如何优化草图数据的基础处理以及提高基于草图的可视媒体应用的效率是研究的重点问题。草图交互被广泛地应用于生活与工作中的各个方面，包括绘画、笔记速记、文档标注、互联网行业的网页用户界面(UI)和概念设计、电影动画行业的动画与影视制作等。近年来，草图交互相关研究和应用在工业界和学术界都引起了广泛关注，其中很重要的原因之一是触屏类硬件设备的蓬勃发展(例如微软公司Surface系列触控笔记本电脑、苹果公司的Apple pencil触控笔等)。人工智能时代下，一方面，用户对于草图数据的获取更加便捷；另一方面，基于深度学习技术的草图数据算法性能不断提高。基于草图交互的应用和任务也得到空前的普及。

在草图交互任务与草图数据处理方面，利用基于深度学习的草图数据处理技术取得了巨大的进步，例如草图识别(sketch recognition)、基于草图的图像检索(sketch-based image retrieval，SBIR)、基于草图的图像生成(sketch-based image generation，SBIG)、草图解析(sketch parsing)、基于草图的视频摘要(sketch-based videosummarization)等。一些新的草图交互任务也被提出，例如草图生成(sketchgeneration)、基于草图交互的模型生成、草图抽象化、基于草图的图像编辑、草图分割等。SketchGAN(参考文献：Liu,Fang,Xiaoming Deng,Yu-Kun Lai,Yong-Jin Liu,Cuixia Ma,and Hongan Wang.Sketchgan:Joint sketch completion and recognition withgenerative adversarial network.In Proceedings of the IEEE/CVF Conference onComputer Vision and Pattern Recognition,pp.5830-5839.2019.)提出一种基于生成式对抗网络的草图补全与识别方法，对残缺草图数据进行有效的生成式补全与修复，同时利用补全后的草图数据进行草图识别，提高目前主流草图识别算法对残缺草图的识别准确率。

对于草图交互的研究，应对于实际应用的需求，向细粒度的方法发展。具体来说，相对于基于整体的任务(例如草图识别)，近年来一些细粒度的草图交互任务得以被提出。目前大多数的基于草图的图像检索相关技术都建立在实例级、类别级检索的前提下，即：输入草图与待检索的图像对象均为单个物体；并且检索结果图像的物体与输入草图物体在类别上保持一致，即为正确的检索。Sketch Me that Shoe(参考文献：Yu,Qian,Feng Liu,Yi-Zhe Song,Tao Xiang,Timothy M.Hospedales,and Chen-Change Loy.Sketch me thatshoe.In Proceedings of the IEEE Conference on Computer Vision and PatternRecognition,pp.799-807.2016.)等研究实例级(instance-level)的基于草图的图像检索，不仅要求检索出的图像物体与输入的查询草图在类别上保持一致，而且要求它们外形、动作、方向等细节信息也相似。