[发明专利]一种小样本字符与手绘草图识别方法及装置

权利要求书

1.一种小样本字符与手绘草图识别方法，在无标注源数据条件下对待识别图像进行识别，该待识别图像为字符图像或为手绘草图，其特征在于，包括如下步骤：

步骤S1，将位图格式的所述无标注源数据转换为点序列格式的无标注源数据，按照预定的固定抹除比例抹除所述点序列格式的无标注源数据中的点从而得到增广网络预训练数据，其中，所述无标注源数据包括无标注字符数据以及无标注手绘草图数据；

步骤S2，搭建基于高斯混合模型的BERT增广网络，将所述增广网络预训练数据输入所述BERT增广网络，并将所述点序列格式的无标注源数据作为目标从而进行训练，直到所述BERT增广网络收敛，得到训练好的BERT增广网络作为增广器；

步骤S3，将位图格式的有标注小样本数据转换为点序列格式的有标注小样本数据，按照各个预定的随机抹除比例抹除所述点序列格式的有标注小样本数据中的点从而得到抹除后小样本数据，其中，所述有标注小样本数据包括小样本有标注字符数据以及小样本有标注手绘草图数据；

步骤S4，采用所述增广器对所述抹除后小样本数据中各个被抹除的点的坐标进行建模得到分布模型，对该分布模型随机采样得到预测坐标，对各个所述被抹除的点的状态进行预测得到预测状态，将该预测状态与所述预测坐标作为预测点，并将所述预测点与所述抹除后小样本数据整合成点序列格式的增广数据；

步骤S5，利用神经渲染器将所述点序列格式的增广数据转换为位图格式的增广数据；

步骤S6，基于所述位图格式的增广数据以及所述位图格式的有标注小样本数据训练卷积神经网络分类器，从而得到训练好的卷积神经网络分类器，作为小样本字符与手绘草图识别模型；

步骤S7，利用所述小样本字符与手绘草图识别模型对所述待识别图像进行识别得到分类结果，从而根据该预测结果确定待识别图像所对应的内容。

2.根据权利要求1所述的小样本字符与手绘草图识别方法，其特征在于：

其中，所述步骤S2包括如下子步骤：

步骤S2-1，搭建基于高斯混合模型的BERT增广网络，该BERT增广网络至少包括全连接网络层、自注意力网络层以及高斯混合模型；

步骤S2-2，利用所述全连接网络层将所述增广网络预训练数据转化为检索向量、键向量以及值向量；

步骤S2-3，利用所述自注意力网络层对所述检索向量、所述键向量以及所述值向量进行注意力加权处理得到深度特征；

步骤S2-4，基于所述深度特征，利用包含多个子分布的所述高斯混合模型对所述增广网络预训练数据的坐标分布进行建模，得到坐标分布预测模型，对所述增广网络预训练数据的状态进行预测得到预测状态；

步骤S2-5，将所述点序列格式的无标注源数据作为目标，针对所述坐标分布预测模型以及所述预测状态分别构建坐标损失函数以及状态损失函数，并基于所述坐标损失函数以及状态损失函数训练所述BERT增广网络，直到所述BERT增广网络收敛，从而得到所述训练好的BERT增广网络作为所述增广器。

3.根据权利要求2所述的小样本字符与手绘草图识别方法，其特征在于：

其中，所述坐标损失函数为GMM损失函数，所述状态损失函数为交叉熵损失函数。

4.根据权利要求1所述的小样本字符与手绘草图识别方法，其特征在于：

其中，所述步骤S5包括如下子步骤：

步骤S5-1，利用二次贝塞尔曲线将所述点序列格式的增广数据转换为贝塞尔曲线表示的增广数据；

步骤S5-2，利用所述神经渲染器将所述贝塞尔曲线表示的增广数据转换为位图图像，其中所述神经渲染器由全连接层以及卷积层组成。

5.根据权利要求1所述的小样本字符与手绘草图识别方法，其特征在于：

其中，所述固定抹除比例为15％。