[发明专利]预训练方法、装置、设备和存储介质

权利要求书

1.一种预训练方法，其特征在于，所述方法包括：

对初始文本句进行字符掩盖处理，得到字符掩盖处理后的初始文本句；

基于所述字符掩盖处理后的初始文本句和句前的附加字符，得到目标文本句；

确定所述目标文本句对应的掩盖mask矩阵，其中，所述mask矩阵包括多个元素，每个元素用于向待训练的特征提取模型指示在所述目标文本句中所述元素对应的两个字符在特征提取过程中的运算关联度，所述mask矩阵中所述句前的附加字符对应的元素不为0；

将所述目标文本句和所述mask矩阵，输入所述待训练的特征提取模型，得到所述目标文本句中的每个字符对应的特征信息，其中，所述句前的附加字符对应的特征信息用于表征所述目标文本句对应的特征信息；

基于所述初始文本句和所述目标文本句中的每个字符对应的特征信息，对所述待训练的特征提取模型进行训练。

2.根据权利要求1所述的方法，其特征在于，所述对初始文本句进行字符掩盖处理，得到字符掩盖处理后的初始文本句，包括：

在所述初始文本句中，随机选取预设比例的字符，作为参考字符；

对于每个参考字符，基于多种处理分别对应的选择概率，在所述多种处理中，选择所述参考字符对应的目标处理，对所述参考字符进行所述目标处理，得到所述字符掩盖处理后的初始文本句，其中，所述多种处理包括替换为mask字符的处理、不变处理和替换为任意字符的处理中的至少一种。

3.根据权利要求2所述的方法，其特征在于，在所述mask矩阵中，所述mask字符和文本字符对应的元素是0，所述文本字符和所述文本字符对应的元素、以及所述句前的附加字符对应的元素是1，其中，所述文本字符是在所述目标文本句中除所述mask字符和所述附加字符以外的其他字符。

4.根据权利要求2所述的方法，其特征在于，所述基于所述初始文本句和所述目标文本句中的每个字符对应的特征信息，对所述待训练的特征提取模型进行训练，包括：

基于预先存储的字符与标识ID之间的对应关系，获取所述参考字符的实际ID；

将所述目标文本句中的每个字符对应的特征信息，输入待训练的归一化softmax模块，得到所述目标文本句中的每个字符的预测ID；

基于所述参考字符的实际ID和所述参考字符的预测ID，计算损失值；

基于所述损失值，对所述待训练的特征提取模型和所述待训练的softmax模块进行训练。

5.根据权利要求4所述的方法，其特征在于，所述基于所述参考字符的实际ID和所述参考字符的预测ID，计算损失值，包括：

对于每个参考字符，计算所述参考字符的实际ID与所述参考字符的预测ID之间的交叉熵误差值；

将所有的参考字符对应的交叉熵误差值之间的平均值，确定为所述损失值。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述基于所述字符掩盖处理后的初始文本句和句前的附加字符，得到目标文本句，包括：

在所述字符掩盖处理后的初始文本句前加句前的附加字符，得到参考文本句；

确定所述参考文本句的字符数目；

若所述参考文本句的字符数目小于预设字符数目，则在所述参考文本句后加至少一个句后的附加字符，得到目标文本句，其中，所述目标文本句的字符数目等于所述预设字符数目。

7.根据权利要求6所述的方法，其特征在于，在所述mask矩阵中，所述句后的附加字符对应的元素是0。