[发明专利]预训练方法、装置、设备和存储介质

说明书

本申请公开了一种预训练方法、装置、设备和存储介质，属于计算机技术领域。所述方法包括：得到字符掩盖处理后的初始文本句；基于字符掩盖处理后的初始文本句和句前的附加字符，得到目标文本句；确定目标文本句对应的mask矩阵，mask矩阵包括多个元素，每个元素用于向待训练的特征提取模型指示在目标文本句中元素对应的两个字符在特征提取过程中的运算关联度，句前的附加字符对应的元素不为0；基于初始文本句、目标文本句和mask矩阵，对待训练的特征提取模型进行训练。采用本申请，不仅仅可以得到目标文本句中每个字符对应的特征向量，还可以得到目标文本句对应的特征向量，无需再另外进行其他训练，减少了数据运算资源和运算时间。

技术领域

本申请涉及计算机技术领域，特别涉及一种预训练方法、装置、设备和存储介质。

背景技术

随着机器学习技术的不断发展，预训练模型广泛兴起。预训练模型是使用大量的无标注的训练集进行预训练后的模型。预训练完成后，可以再根据不同的需求，使用少量的有标注的训练集进行有目标的训练，从而得到训练完成的模型。例如，要想得到一个预测文本句的情感的模型(例如，预测一个文本句是高兴的情绪，或是悲伤的情绪等)，可以先对一个BERT(Bidirectional Encoder Representation from Transformers，基于转换器的双向编码表征)模型进行预训练，得到预训练完成的BERT模型，然后，在BERT模型后加一个分类器，再使用有标注的训练集对BERT模型和分类器共同进行训练，即可以得到训练完成的可以预测文本句的情感的模型。

通常，对模型进行预训练的方法是：对一个文本句进行字符掩盖处理，将文本句中的一部分字符进行掩盖，再将进行了字符掩盖处理后的文本句，输入待训练模型中，从而得到待训练模型输出的字符掩盖处理后的文本句中的每个字符对应的特征向量。再基于每个字符对应的特征向量和未进行字符掩盖处理的文本句，对待训练模型进行训练。

使用上述预训练方法，得到的训练完成的模型，只能对文本句中每个字符的特征向量进行预测，即只能得到文本句中的每个字的字向量，而无法对整个文本句的句向量进行预测。如果想要得到整个文本句的向量表示，还要在预训练完成的模型后再加上其他的机器学习模块，对它们进行有标注的训练，才能得到可以对文本句的向量进行预测的模型，但这样，需要花费大量的数据运算资源和运算时间。

发明内容

本申请实施例提供了一种预训练方法，能够解决现有技术中需要花费大量的数据运算济源和运算时间才可以得到文本句的向量的问题。

第一方面，提供了一种预训练方法，所述方法包括：

对初始文本句进行字符掩盖处理，得到字符掩盖处理后的初始文本句；

基于所述字符掩盖处理后的初始文本句和句前的附加字符，得到目标文本句；

确定所述目标文本句对应的mask(掩盖)矩阵，其中，所述mask矩阵包括多个元素，每个元素用于向待训练的特征提取模型指示在所述目标文本句中所述元素对应的两个字符在特征提取过程中的运算关联度，所述mask矩阵中所述句前的附加字符对应的元素不为0；

基于所述初始文本句、所述目标文本句和所述mask矩阵，对所述待训练的特征提取模型进行训练。

在一种可能的实现方式中，所述对初始文本句进行字符掩盖处理，得到字符掩盖处理后的初始文本句，包括：

在所述初始文本句中，随机选取预设比例的字符，作为参考字符；

对于每个参考字符，基于多种处理分别对应的选择概率，在所述多种处理中，选择所述参考字符对应的目标处理，对所述参考字符进行所述目标处理，得到所述字符掩盖处理后的初始文本句，其中，所述多种处理包括替换为mask字符的处理、不变处理和替换为任意字符的处理中的至少一种。