[发明专利]一种基于深度学习的中文文本纠错方法及设备

权利要求书

1.一种基于深度学习的中文文本纠错方法，其特征在于，所述方法包括：

基于预设训练序列，对改进后的BERT模型进行训练，得到BERT改良模型；

通过所述BERT改良模型对待纠错文本进行编码，得到所述待纠错文本中每个字的特征向量、前后文特征以及每个字对应的预设数量的候选字向量；

将所述待纠错文本中每个字的特征向量、前后文特征以及所述预设数量的候选字向量，通过全局注意力模型进行解码，得到纠错后文本。

2.根据权利要求1所述的一种基于深度学习的中文文本纠错方法，其特征在于，基于预设训练序列，对改进后的BERT模型进行训练，得到BERT改良模型，具体包括：

在互联网中预先获取候选字集；其中，所述候选字集中包括易错易混淆的字、拼音相同但字形不同的字以及字形相似但意义不同的字；

将所述候选字集与所述BERT模型相结合，得到改进后的BERT模型；

将所述预设训练序列输入所述改进后的BERT模型中，得到所述BERT改良模型。

3.根据权利要求2所述的一种基于深度学习的中文文本纠错方法，其特征在于，将所述候选字集与所述BERT模型相结合，得到改进后的BERT模型，具体包括：

将每个训练序列中的每个token位置对应的待替换字，替换为“mask”的概率设为35％，替换为所述候选字集中的候选字向量的概率设为30％，替换为其他token位置对应的待替换字的概率设为10％，保持不变的概率设为25％，得到所述改进后的BERT模型。

4.根据权利要求1所述的一种基于深度学习的中文文本纠错方法，其特征在于，通过所述BERT改良模型对待纠错文本进行编码，得到所述待纠错文本中每个字的特征向量、前后文特征以及每个字对应的预设数量的候选字向量，具体包括：

将待纠错文本输入到训练好的所述BERT改良模型中，以使所述BERT改良模型输出所述待纠错文本中每个字的特征向量以及每个字的判断结果；其中，所述判断结果为正确或错误；

通过所述BERT改良模型，输出所述待纠错文本中的每个字在候选字集中对应的预设数量的候选字向量；

根据所述待纠错文本中每个字的特征向量，得到所述待纠错文本中每个字的前后文特征。

5.根据权利要求4所述的一种基于深度学习的中文文本纠错方法，其特征在于，通过所述BERT改良模型，输出所述待纠错文本中的每个字在候选字集中对应的预设数量的候选字向量，具体包括：

通过所述BERT改良模型，输出所述待纠错文本中的每个字在所述候选字集中对应的前K个候选字向量；其中，K∈[1,N_i]，N_i为所述待纠错文本中第i个字在所述候选字集中对应的候选字的总数量；所述候选字向量为词嵌入向量。

6.根据权利要求5所述的一种基于深度学习的中文文本纠错方法，其特征在于，在通过所述BERT改良模型，输出所述待纠错文本中的每个字在所述候选字集中对应的前K个候选字向量之后，所述方法还包括：

对得到的所述候选字向量进行正则化处理，得到正则化候选字向量。

7.根据权利要求6所述的一种基于深度学习的中文文本纠错方法，其特征在于，将所述待纠错文本中每个字的特征向量、前后文特征以及所述预设数量的候选字向量，通过全局注意力模型进行解码，得到纠错后文本，具体包括：

若所述待纠错文本中任一个或多个字的判断结果为错误，则在得到的所有正则化候选字向量中，选择判断结果为错误的字对应的K个正则化候选字向量；

将选择的所述正则化候选字向量与所述前后文特征一起输入到所述全局注意力模型中进行解码，得到纠错后文本。