[发明专利]一种文本纠错方法和系统

说明书

一种文本纠错方法和系统，包括训练BERT模型；对汉字进行编码；将待检测句子输入BERT模型，获得每个位置上的置信度TopK候选集；利用汉字编码，计算候选项与原项的相似度；利用相似度与置信度计算纠错概率；对候选集按照纠错概率重新排序；与设定阈值比较，若概率低于阈值，则不改错；若否，则取出候选集中Top1作为最终纠错结果。本发明通过使用BERT解决现有技术方案中缺乏大量训练语料的问题，并利用上述汉字编码方式，综合考虑汉字的拼字字形对错误文本的影响，动态适应多种纠错任务。

技术领域

本发明涉及语言处理领域，尤其涉及一种文本纠错方法和系统。

背景技术

现有文本纠错方法主要分为统计模型类和神经网络模型类。基于统计模型的方法以N-gram为例，通过计算句子中以目标字为核心的邻接N元概率，对目标字进行检错判断，同时对混淆集进行排序，筛选出第一候选字词纠正错误文本。基于神经网络模型的方法以Seq2Seq模型为例，通过将句子输入Encoder，经过模型计算后，在Decoder会输出句子中每个位置上置信度得分Top1的字符，从而进行纠错。

上述现有技术具有以下缺点：（1）统计模型只考虑了单字构成词语的概率，且这个概率依赖于训练的样本，泛化能力受到限制。同时统计模型并没有考虑上下文的语义信息，无法解决搭配不当的错误。（2）神经网络模型只根据上下文语义信息纠错，未考虑具体任务场景，比如语音转文本时，错误大量集中在同音字；图像转文本时，错误大量集中在同形字。同时当前Seq2Seq模型依赖大量人工标注的平行语料以提高泛化能力。

发明内容

本发明针对现有技术中的缺点，通过使用BERT解决现有技术方案中缺乏大量训练语料的问题，并利用本发明提出的汉字编码方式，综合考虑汉字的拼字字形对错误文本的影响，动态适应多种纠错任务。

为了解决上述技术问题，本发明通过下述技术方案得以解决：

一种文本纠错方法，包括以下步骤：

训练BERT模型；

将待检测句子输入BERT模型，获得每个位置上的置信度TopK候选集；

对汉字进行编码，基于汉字编码，计算候选集中的候选项与原项的相似度；

利用相似度与置信度综合计算纠错概率；

对候选集按照纠错概率重新排序；

与设定阈值比较，若概率低于阈值，则不改错；若否，则取出候选集中Top1作为纠错结果。

可选的，对汉字进行笔画级的拆解，并与拼音结合形成汉字编码。

可选的，汉字编码分为拼音字段、音调字段、结构字段、笔画字段和笔画总数字段。

可选的，基于汉字编码，使用Levenshtein算法计算候选项与原项的相似度。

可选的，设置置信度和相似度的权重，将相似度和置信度各自乘上相应的权重，然后求和，得到纠错概率。

可选的，训练BERT模型过程：BERT对输入序列中的随机比例的字进行mask处理，利用mask的上下文信息预测mask的值，BERT模型得到的结果形式为：字，置信度的候选项，选择置信度最高的作为mask的结果；

注，“（）”内文字非解释说明。

本发明还提供了一种文本纠错系统，包括：

汉字编码单元，用于汉字编码处理；

BERT模型单元，用于BERT模型训练；

置信度计算单元，利用BERT模型单元训练好的BERT模型，获得待检测句子每个位置上的置信度TopK候选集；