[发明专利]中文文本纠错及验证方法、装置、设备及存储介质

说明书

本发明涉及人工智能技术，揭露了一种中文文本纠错及验证方法，包括：对原始纠错训练文本集合中的文本标注模板文本，得到标准纠错训练文本集合，利用标准纠错训练文本集合对包括文本错误识别模型及文本纠错模型的双阶段纠错模型进行联合训练，得到标准纠错模型，利用标准纠错模型对待纠错文本进行纠错，得到已纠错文本并构建纠错对，对纠错对进行纠错类型识别，基于纠错类型，利用编辑距离成本法对所述纠错对进行纠错验证，得到纠错验证结果。此外，本发明还涉及区块链技术，所述纠错验证结果可存储在区块链的节点中。本发明还提出一种中文文本纠错及验证装置、电子设备以及可读存储介质。本发明可以解决中文纠错效率较低的问题。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种中文文本纠错及验证方法、装置、电子设备及可读存储介质。

背景技术

中文纠错是人工智能中的重要应用，业内常用的中文纠错方法大多是遍历每一个句子进行中文纠错，主要有如下两种方法：1、基于编辑距离算法，计算编辑成本，比如增加、删除、替换等编辑值，与正确的句子库进行遍历比对，从而完成纠错过程。但是这种方法较为机械，需要预先设定好庞大正确的句子库，且都是使用句子级别，输入整个句子进行编辑距离计算，由于编辑距离算法对句子中正确的部分也计算了编辑距离成本，计算成本很高，导致纠错过程耗时很长，其次对未登录的句子或者词不能纠错，纠错效率较低。2、利用语言模型进行中文纠错，例如利用编码器和解码器结构的模型进行纠错，但是在解码的过程中必须按照顺序一个一个的解码获得纠错后的句子，效率比较低；或者使用单一BERT的语言模型来做文本纠错，但是仍需要遍历句子中所有单个的词或者多个连续组合的词来mask，让模型对mask的位置进行猜测从而达到纠错效果，效率非常低。

发明内容

本发明提供一种中文文本纠错及验证方法、装置、电子设备及可读存储介质，其主要目的在于解决中文纠错效率较低的问题。

为实现上述目的，本发明提供的一种中文文本纠错及验证方法，包括：

获取原始纠错训练文本集合，根据所述原始纠错训练文本集合中文本的正确性标注模板文本，得到标准纠错训练文本集合；

构建包括文本错误识别模型及文本纠错模型的双阶段纠错模型；

利用所述标准纠错训练文本集合对所述文本错误识别模型及文本纠错模型进行联合训练，得到标准纠错模型；

获取待纠错文本，利用所述标准纠错模型对所述待纠错文本进行纠错，得到已纠错文本；

基于所述已纠错文本构建纠错对，利用预设的分类模型对所述纠错对进行纠错类型识别，得到纠错类型；

基于所述纠错类型，利用编辑距离成本法对所述纠错对进行纠错验证，得到纠错验证结果。

可选地，所述构建包括文本错误识别模型及文本纠错模型的双阶段纠错模型，包括：

获取第一BERT模型，在所述第一BERT模型后拼接全连接层及输出层，得到所述文本错误识别模型；

获取第二BERT模型并作为所述文本纠错模型，对所述文本错误识别模型机所述文本纠错模型进行串联得到所述双阶段纠错模型。

可选地，所述利用所述标准纠错训练文本集合对所述文本错误识别模型及文本纠错模型进行联合训练，得到标准纠错模型，包括：

利用所述标准纠错训练文本集合对所述文本错误识别模型进行迭代训练；

利用训练完成的文本错误识别模型输出所述标准纠错训练文本集合中句子对应的标准字向量；

对所述标准字向量进行复制组合处理，并基于复制后的组合字向量及预设的损失函数对所述文本纠错模型进行注意力训练；

汇总训练完成的文本错误识别模型及文本纠错模型得到所述双阶段纠错模型。