[发明专利]一种基于自监督学习任务的手绘草图理解深度学习方法

说明书

本发明提供了一种基于自监督学习任务的手绘草图理解深度学习方法，其特征在于，包括如下步骤：步骤S1，基于不同的手绘草图中点的数据的分类对其中部分数据进行抹除，进一步将抹除部分数据后的手绘草图的数据用于自监督学习；步骤S2，将手绘草图的数据序列化后嵌入编码；步骤S3，将基于双向编码表示和自注意力机制的深度学习网络作为深度特征提取模块，并利用该深度特征提取模块提取手绘草图对应的点数据的深度特征；步骤S4，利用提取的深度特征预测被抹除的部分数据的坐标数据和状态数据；步骤S5，使用损失函数分别对坐标数据的预测与状态数据的预测任务进行训练从而获得训练好的网络模型。

技术领域

本发明属于计算机图像识别技术领域，涉及一种基于自监督学习任务的手绘草图理解深度学习方法。

背景技术

随着触屏设备的普及，比如平板电脑和手机等，每个人都可以容易地进行手绘草图的绘制。目前，关于如何自动化地理解手绘草图的研究集中在2D的像素图片以及有监督学习上。事实上，手绘草图是有关物体的抽象与概念化的表示，可以用来表示简单的逻辑或者有关场景的结构。所以相对于像素化图片，手绘草图的原始序列化形式可能是一种更好的表示方法以及结构。比如，一张手绘草图由一系列的笔划构成，而每一笔划可以看作一系列的点。

在现有的研究中，有关手绘草图的学习总是集中在有监督学习。并且这些有监督的学习模型往往聚焦在一个具体的任务上，比如分类，检索等。而这样的方法并不具备直接迁移到其他任务上的能力，所以这种方法泛用能力较差。而且，对于大量的数据进行标注是一件费时费力的任务，需要大量的经济与人员的付出。

目前，在自然语言处理领域，有相当一部分自监督学习模型显示出了对于各种自然语言任务的优越性，比如BERT(Bidirectional Encoder Representation fromTransformer)模型，GPT模型以及XLNet模型等。这些模型都采取了利用背景数据预测未知数据的自监督学习任务。更进一步地，从数据类型上看这些模型的本质处理的是序列数据，但这些模型并不能直接解决有关手绘草图的自监督学习任务，因为语言本质是离散的数据，而手绘草图的数据是连续的序列数据。

发明内容

为解决上述问题，提供一种基于自监督学习任务的手绘草图理解深度学习方法，本发明采用了如下技术方案：

本发明提供了一种基于自监督学习任务的手绘草图理解深度学习方法，其特征在于，包括如下步骤：

步骤S1，基于不同的手绘草图中点的数据的分类对其中部分数据进行抹除，进一步将抹除部分数据后的手绘草图的数据用于自监督学习；

步骤S2，将手绘草图的数据序列化后嵌入编码；

步骤S3，将基于双向编码表示和自注意力机制的深度学习网络作为深度特征提取模块，并利用该深度特征提取模块提取手绘草图对应的点数据的深度特征；

步骤S4，利用提取的深度特征预测被抹除的部分数据的坐标数据和状态数据；

步骤S5，使用损失函数分别对坐标数据的预测与状态数据的预测任务的损失函数对深度网络模型进行训练从而获得训练好的网络模型；

步骤S6，将步骤S5中训练好的模型在进行分类训练以及检索训练从而获得分类训练好的分类网络和用于检索的深度特征网络；

步骤S7，在数据集上，用分类训练好的网络进行分类结果预测以及用检索训练好的网络进行检索结果计算。

本发明提供的基于自监督学习任务的手绘草图理解深度学习方法，还可以具有这样的特征，其中，

本发明提供的基于自监督学习任务的手绘草图理解深度学习方法，其特征在于，步骤S1的具体过程如下：