[发明专利]一种基于深度学习的中文文本纠错方法及设备

说明书

本发明公开了一种基于深度学习的中文文本纠错方法及设备，属于自然语言处理技术领域，用于解决现有的中文文本纠错方法只关注输入序列的一部分信息，无法关注全局信息，纠错效果较差的技术问题。方法包括：基于预设训练序列，对改进后的BERT模型进行训练，得到BERT改良模型；通过BERT改良模型对待纠错文本进行编码，得到待纠错文本中每个字的特征向量、前后文特征以及每个字对应的预设数量的候选字向量；将待纠错文本中每个字的特征向量、前后文特征以及预设数量的候选字向量，通过全局注意力模型进行解码，得到纠错后文本。

技术领域

本申请涉及自然语言处理技术领域，尤其涉及一种基于深度学习的中文文本纠错方法及设备。

背景技术

在机器人语音识别、问答任务中，由于易混淆的字词、拼音一样但字形不一样的字词、字形相似但意义不同的字词这些中文的相似性因素的影响，机器人可能识别不出用户的意图，导致执行错误任务或无法识别任务。

现有的中文文本纠错方法一般是基于不同语言模型串联或基于深度学习模型，纠错方法多是通过前后文信息来进行。所采用的的注意力机制多为局部注意力机制，此方法在解码时主要关注输入序列的一部分信息，而不是所有解码器的隐藏状态，无法关注全局信息，纠错效果较差。

发明内容

本申请实施例提供了一种基于深度学习的中文文本纠错方法及设备，用于解决如下技术问题：现有的中文文本纠错方法只关注输入序列的一部分信息，无法关注全局信息，纠错效果较差。

本申请实施例采用下述技术方案：

一方面，本申请实施例提供了一种基于深度学习的中文文本纠错方法，方法包括：基于预设训练序列，对改进后的BERT模型进行训练，得到BERT改良模型；通过所述BERT改良模型对待纠错文本进行编码，得到所述待纠错文本中每个字的特征向量、前后文特征以及每个字对应的预设数量的候选字向量；将所述待纠错文本中每个字的特征向量、前后文特征以及所述预设数量的候选字向量，通过全局注意力模型进行解码，得到纠错后文本。

在一种可行的实施方式中，基于预设训练序列，对改进后的BERT模型进行训练，得到BERT改良模型，具体包括：在互联网中预先获取候选字集；其中，所述候选字集中包括易错易混淆的字、拼音相同但字形不同的字以及字形相似但意义不同的字；将所述候选字集与所述BERT模型相结合，得到改进后的BERT模型；将所述预设训练序列输入所述改进后的BERT模型中，得到所述BERT改良模型。

在一种可行的实施方式中，将所述候选字集与所述BERT模型相结合，得到改进后的BERT模型，具体包括：将每个训练序列中的每个token位置对应的待替换字，替换为“mask”的概率设为35％，替换为所述候选字集中的候选字向量的概率设为30％，替换为其他token位置对应的待替换字的概率设为10％，保持不变的概率设为25％，得到所述改进后的BERT模型。

在一种可行的实施方式中，通过所述BERT改良模型对待纠错文本进行编码，得到所述待纠错文本中每个字的特征向量、前后文特征以及每个字对应的预设数量的候选字向量，具体包括：将待纠错文本输入到训练好的所述BERT改良模型中，以使所述BERT改良模型输出所述待纠错文本中每个字的特征向量以及每个字的判断结果；其中，所述判断结果为正确或错误；通过所述BERT改良模型，输出所述待纠错文本中的每个字在候选字集中对应的预设数量的候选字向量；根据所述待纠错文本中每个字的特征向量，得到所述待纠错文本中每个字的前后文特征。

在一种可行的实施方式中，通过所述BERT改良模型，输出所述待纠错文本中的每个字在候选字集中对应的预设数量的候选字向量，具体包括：通过所述BERT改良模型，输出所述待纠错文本中的每个字在所述候选字集中对应的前K个候选字向量；其中，K∈[1,N_i]，N_i为所述待纠错文本中第i个字在所述候选字集中对应的候选字的总数量；所述候选字向量为词嵌入向量。