[发明专利]文本纠错方法、装置、计算机设备及存储介质

权利要求书

1.一种文本纠错方法，其特征在于，包括下述步骤：

获取待处理文本和历史输出文本，根据预设的预训练模型分别对所述待处理文本和所述历史输出文本进行编码，得到第一语义特征和第二语义特征；

获取预设纠错模型，其中，所述预设纠错模型包括预设删除模型、预设掩码模型和预设插入预测模型，输入所述第一语义特征和所述第二语义特征至所述预设删除模型，计算得到目标删除字向量，将删除所述目标删除字向量后的第一语义特征作为第三语义特征；

根据所述预设掩码模型对所述第三语义特征进行掩码预测，得到目标掩码位置，在所述第三语义特征的目标掩码位置插入预设的目标掩码，得到第四语义特征；

输入所述第四语义特征至所述预设插入预测模型，计算得到目标插入向量，将所述目标插入向量替换所述第四语义特征中的目标掩码，得到第五语义特征，查找所述第五语义特征对应的词表，得到所述待处理文本对应的目标纠错文本；

在所述获取预设纠错模型的步骤之前，还包括：

创建基础纠错模型，所述基础纠错模型包括基础删除模型、基础掩码模型和基础插入预测模型；

采集多组纠错前文本和纠错后文本作为测试文本，其中，所述纠错后文本包括标准删除文本、标准掩码文本和标准插入文本；

根据所述纠错前文本和所述纠错后文本对所述基础纠错模型进行训练，计算得到总损失函数；

在所述总损失函数收敛时，确定所述基础纠错模型训练完成，将训练完成的基础删除模型、训练完成的基础掩码模型和训练完成的基础插入预测模型分别作为所述预设纠错模型的预设删除模型、预设掩码模型和预设插入预测模型；

所述根据所述纠错前文本和所述纠错后文本对所述基础纠错模型进行训练，计算得到总损失函数的步骤包括：

输入所述纠错前文本和所述纠错后文本至所述基础删除模型，经过所述基础掩码模型和所述基础插入预测模型，计算得到所述基础删除模型对应的第一损失函数、所述基础掩码模型对应的第二损失函数和所述基础插入预测模型对应的第三损失函数；

根据所述第一损失函数、所述第二损失函数和所述第三损失函数计算得到所述总损失函数；

所述输入所述纠错前文本对应的语义特征至所述基础删除模型，经过所述基础掩码模型和所述基础插入预测模型，计算得到所述基础删除模型对应的第一损失函数、所述基础掩码模型对应的第二损失函数和所述基础插入预测模型对应的第三损失函数的步骤包括：

输入所述纠错前文本对应的语义特征至所述基础删除模型中，根据所述基础删除模型对所述纠错前文本进行目标删除字的预测，得到预测删除文本；

根据所述预测删除文本和所述标准删除文本计算所述基础删除模型的损失函数，并将所述基础删除模型的损失函数作为第一损失函数；

确定所述预测删除文本与所述标准删除文本是否一致，在所述预测删除文本与所述标准删除文本一致时，将所述预测删除文本输入至所述基础掩码模型，根据所述基础掩码模型对所述预测删除文本的掩码位置进行预测，得到预测掩码文本；

根据所述预测掩码文本和所述标准掩码文本计算所述基础掩码模型的损失函数，并将所述基础掩码模型的损失函数作为第二损失函数；

确定所述预测掩码文本与所述标准掩码文本是否一致，在所述预测掩码文本与所述标准掩码文本一致时，根据所述基础插入预测模型对所述预测掩码文本进行文本预测，得到预测插入文本；

根据所述预测插入文本和所述标准插入文本计算所述基础插入预测模型的损失函数，并将所述基础插入预测模型的损失函数作为第三损失函数；

所述根据所述第一损失函数、所述第二损失函数和所述第三损失函数计算得到所述总损失函数的步骤包括：

分别获取所述第一损失函数、所述第二损失函数和所述第三损失函数的第一预设权重、第二预设权重和第三预设权重；

根据所述第一预设权重、所述第二预设权重和所述第三预设权重对所述第一损失函数、所述第二损失函数和所述第三损失函数进行加权求和，计算得到所述总损失函数。

2.根据权利要求1所述的文本纠错方法，其特征在于，所述根据所述预设掩码模型对所述第三语义特征进行掩码预测，得到目标掩码位置的步骤包括：

所述预设掩码模型包括两个自注意力层和两个前向网络层，根据所述自注意力层和所述前向网络层对所述第三语义特征进行计算，得到所述第三语义特征的目标掩码位置。