[发明专利]文本处理模型训练方法、语音文本处理方法及装置

权利要求书

1.一种文本处理模型训练方法，其特征在于，所述方法包括：

从互联网爬取对话文本，得到正样本；所述对话文本中的语句为语法正确的语句，所述正样本为所述对话文本中的语句；

对所述对话文本中的语句进行变换操作，得到负样本和所述负样本的第一标签信息，所述负样本中的语句为语法错误的语句，所述第一标签信息表示将所述正样本变换为所述负样本的变换序列，所述变换序列表示一个语句中每个字符对应的变换操作；

将所述正样本和负样本对应输入至预先训练的第一文本处理模型中和待训练的第二文本处理模型中，生成所述第一文本处理模型的目标层的第一特征向量和所述第二文本处理模型的目标层的第二特征向量；所述第二文本处理模型的维度小于所述第一文本处理模型，所述第一文本处理模型是根据所述正样本、所述负样本和所述负样本的变换序列训练得到的；

根据所述第一特征向量、所述第二特征向量，对所述第二文本处理模型进行知识蒸馏，得到训练好的第二文本处理模型；

在所述第一文本处理模型的层数与所述第二文本处理模型的层数相同的情况下，所述第一特征向量包括第一输入层特征向量、第一隐藏层特征向量、第一注意力向量和对所述负样本进行校对的第一预测校对向量，所述第二特征向量包括第二输入层特征向量、第二隐藏层特征向量、第二注意力向量和对所述负样本进行校对的第二预测校对向量；

所述根据所述第一特征向量和所述第二特征向量，对所述第二文本处理模型进行知识蒸馏，得到训练好的第二文本处理模型，包括：

根据所述第一文本处理模型的维度和所述第二文本处理模型的维度，确定投影矩阵；

根据所述投影矩阵、所述第一输入层特征向量和所述第二输入层特征向量，计算所述第一文本处理模型的输入层和所述第二文本处理模型的输入层之间的第一均方差损失；

根据所述投影矩阵、所述第一隐藏层特征向量和所述第二隐藏层特征向量，计算所述第一文本处理模型的隐藏层和所述第二文本处理模型的隐藏层之间的第二均方差损失；

计算所述第一注意力向量和所述第二注意力向量之间的第三均方差损失；

根据预设的温度参数计算所述第一预测校对向量和所述第二预测校对向量的交叉熵损失；

根据所述第一均方差损失、所述第二均方差损失、所述第三均方差损失和所述交叉熵损失更新所述第二文本处理模型。

2.根据权利要求1所述的方法，其特征在于，在所述第一文本处理模型的层数为M，所述第二文本处理模型的层数为N，且M不等于N的情况下，所述第一特征向量包括所述第一文本处理模型的M层中每一层的第一注意力向量、每一层隐藏层的第一隐藏层特征向量、第一输入层特征向量和对所述负样本进行校对的第一预测校对向量，所述第二特征向量包括所述第二文本处理模型的N层中每一层的第二注意力向量、每一层隐藏层的第二隐藏层特征向量、第二输入层特征向量和对所述负样本进行校对的第二预测校对向量。