[发明专利]一种文本纠错方法和系统

权利要求书

1.一种文本纠错方法，其特征在于，包括以下步骤：

训练BERT模型；

将待检测句子输入BERT模型，获得每个位置上的置信度TopK候选集；

对汉字进行编码，基于汉字编码，计算候选集中的候选项与原项的相似度；

利用相似度与置信度综合计算纠错概率；

对候选集按照纠错概率重新排序；

与设定阈值比较，若概率低于阈值，则不改错；若否，则取出候选集中Top1作为纠错结果；

对汉字进行编码包括：对汉字进行笔画级的拆解，并与拼音结合形成汉字编码。

2.根据权利要求1所述的文本纠错方法，其特征在于，汉字编码分为拼音字段、音调字段、结构字段、笔画字段和笔画总数字段。

3.根据权利要求1或2所述的文本纠错方法，其特征在于，基于汉字编码，使用Levenshtein算法计算候选项与原项的相似度。

4.根据权利要求1所述的文本纠错方法，其特征在于，设置置信度和相似度的权重，将相似度和置信度各自乘上相应的权重，然后求和，得到纠错概率。

5.根据权利要求1所述的文本纠错方法，其特征在于，训练BERT模型过程：BERT对输入序列中的随机比例的字进行mask处理，利用mask的上下文信息预测mask的值，BERT模型得到的结果形式为：字，置信度 的候选项，选择置信度最高的作为mask的结果。

6.一种文本纠错系统，其特征在于，包括：

汉字编码单元，用于汉字编码处理；

BERT模型单元，用于BERT模型训练；

置信度计算单元，利用BERT模型单元训练好的BERT模型，获得待检测句子每个位置上的置信度TopK候选集；

相似度计算单元，利用汉字编码单元得到的汉字编码，计算置信度TopK候选集中的候选项与原项的相似度；

概率计算单元，根据相似度和置信度计算纠错概率，依据纠错概率并重新排序；

判断单元，判断纠错概率是否大于阈值，若小于，则放弃纠错，若大于，选取Top1作为纠错结果；

输出单元，用于输出纠错结果；

其中，汉字编码处理包括：对汉字进行笔画级的拆解，并与拼音结合形成汉字编码。

7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5中任一所述的方法中的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一所述的方法中的步骤。