[发明专利]文本处理模型训练方法、语音文本处理方法及装置

说明书

本申请提供了一种文本处理模型训练方法、语音文本处理方法及装置，涉及自然语言处理技术领域。该方法包括：从互联网爬取对话文本，得到正样本；对对话文本中的语句进行变换操作，得到负样本和负样本的第一标签信息；将正样本和负样本对应输入至预先训练的第一文本处理模型中和待训练的第二文本处理模型中，生成第一文本处理模型的目标层的第一特征向量和第二文本处理模型的目标层的第二特征向量；根据第一特征向量、第二特征向量，对第二文本处理模型进行知识蒸馏，得到训练好的第二文本处理模型。根据本申请实施例，能够解决相关技术中对语音文本进行校对效率低、耗时长且计算资源占用大的问题。

技术领域

本申请涉及自然语言处理技术领域，尤其涉及一种文本处理模型训练方法、语音文本处理方法及装置。

背景技术

随着自然语言处理技术的发展和人们对高效率的需求，语音识别技术已经被广泛地应用于生活的各个领域，如将会议内容录音后转换文本作为会议纪要；对老师讲课的录音内容转换成文本作为课堂笔记等等。

目前，为了能够准确地识别将语音转换成文本，且转换的文本能够易于用户理解，需要对识别的语音转换成文本，然后再对文本进行校对，从而得到易于用户理解的文本。但是，相关技术中对文本校对的模型在训练时，由于缺乏足量的训练样本，模型难以训练，且即使成功，得到的文本校对模型也需要进行多次迭代来完成文本校对，因此，耗时较长，效率低，且计算资源占用大。

发明内容

本申请实施例提供了一种文本处理模型训练方法、语音文本处理方法及装置，能够解决相关技术中对语音文本进行校对效率低、耗时长且计算资源占用大的问题。

第一方面，本申请实施例提供了文本处理模型训练方法，该方法包括：

从互联网爬取对话文本，得到正样本；对话文本中的语句为语法正确的语句，正样本为对话文本中的语句；

对对话文本中的语句进行变换操作，得到负样本和负样本的第一标签信息，负样本中的语句为语法错误的语句，第一标签信息表示将正样本变换为负样本的变换序列；

将正样本和负样本对应输入至预先训练的第一文本处理模型中和待训练的第二文本处理模型中，生成第一文本处理模型的目标层的第一特征向量和第二文本处理模型的目标层的第二特征向量；第二文本处理模型的维度小于第一文本处理模型，第一文本处理模型是根据正样本、负样本和负样本的变换序列训练得到的；

根据第一特征向量、第二特征向量，对第二文本处理模型进行知识蒸馏，得到训练好的第二文本处理模型。

在一种可能的实现方式中，在第一文本处理模型的层数与第二文本处理模型的层数相同的情况下，第一特征向量包括第一输入层特征向量、第一隐藏层特征向量、第一注意力向量和对负样本进行校对的第一预测校对向量，第二特征向量包括第二输入层特征向量、第二隐藏层特征向量、第二注意力向量和对负样本进行校对的第二预测校对向量。

在一种可能的实现方式中，根据第一特征向量和第二特征向量，对第二文本处理模型进行知识蒸馏，得到训练好的第二文本处理模型，包括：

根据第一文本处理模型的维度和第二文本处理模型的维度，确定投影矩阵；

根据投影矩阵、第一输入层特征向量和第二输入层特征向量，计算第一文本处理模型的输入层和第二文本处理模型的输入层之间的第一均方差损失；

根据投影矩阵、第一隐藏层特征向量和第二隐藏层特征向量，计算第一文本处理模型的隐藏层和第二文本处理模型的隐藏层之间的第二均方差损失；

计算第一注意力向量和第二注意力向量之间的第三均方差损失；

根据预设的温度参数计算第一预测校对向量和第二预测校对向量的交叉熵损失；

根据第一均方差损失、第二均方差损失、第三均方差损失和交叉熵损失更新第二文本处理模型。