[发明专利]一种实现跨领域的中文文本纠错方法和系统

说明书

本发明提供一种实现跨领域的中文文本纠错方法，包括如下步骤：采用序列标注的检错模型结合通用领域的监督数据训练模型进行错误检测；通过编辑距离或者Jaccard距离在词表的拼音库中进行错误找回，获得错误替换集合；将错误替换集合中的词语依次替换错误，采用rnnlm语言模型来对替换错误后的句子进行困惑度计算，根据计算的句子困惑度确定错误替换集合中正确的词语，完成中文文本纠错；本发明提出一种实现跨领域的中文文本纠错方法，即一套错误检测→候选召回→纠错排序的模型，能够更通用地处理跨领域文本的纠错问题，通过深度学习训练的语言模型来召回文本，能够提升召回文本的困惑度，并且模型相互解耦合，提升了效率。

技术领域

本发明涉及文本纠错领域，特别是指一种实现跨领域的中文文本纠错方法和系统。

背景技术

在日常生活中，我们在用微信、微博等社交工具中，在浏览网页、看公众号文章的时候经常会出现错字，导致文本意义出现歧义的情况。中文文本纠错技术就是通过自然语言处理的算法对中文语句进行自动检查，自动纠错的一项重要技术，其目的是提高语言的正确性，提升文本交互的效率和价值。现有的主流文本纠错的技术主要分为两种：一种是通过序列学习的方式来找到文本错误位置，再通过排序纠正文本的错误信息的pipline的方式。另外一种是端到端基于NMT(神经网络翻译)的模型从输入的错误文本到输出正确的文本内容的方式。

但是前者对于排序召回纠正错误文本的算法存在效率比较低，而且给出的正确文本由于候选集是有限集导致适用范围有限，可能还会导致歧义的出现。后者端到端的方式需要大量的有监督的训练集，并且模型复杂度很高性能无法作为基础模块嵌入很多下游应用中，过于低效。

发明内容

本发明的主要目的在于克服现有技术中的上述缺陷，提出一种实现跨领域的中文文本纠错方法，即一套错误检测→候选召回→纠错排序的模型，能够更通用地处理跨领域文本的纠错问题，通过深度学习训练的语言模型来召回文本，能够提升召回文本的困惑度，并且模型相互解耦合，提升了效率。

本发明采用如下技术方案：

一种实现跨领域的中文文本纠错方法，包括如下步骤：

采用序列标注的检错模型结合通用领域的监督数据训练模型进行错误检测；

通过编辑距离或者Jaccard距离在词表的拼音库中进行错误找回，获得错误替换集合；

将错误替换集合中的词语依次替换错误，采用rnnlm语言模型来对替换错误后的句子进行困惑度计算，根据计算的句子困惑度确定错误替换集合中正确的词语，完成中文文本纠错。

具体地，采用序列标注的检错模型结合通用领域的监督数据训练模型进行错误检测，所述序列标注的检错模型结合通用领域的监督数据训练模型，具体为：

文本表示层，通过bert预训练模型进行文本表示，文本表示为n*k的矩阵，其中n为句子的最大长度，k为词向量维度；

Bi-LSTM层，通过长短期记忆网络实现句子中每个字的输出，并通过数学结构保持长距离的字的信息，Bi-LSTM层的输出矩阵为n*2*h，其中h为文本表示层的维度；

CRF层，结合Bi-LSTM层的输出，通过初始化转移矩阵来计算每个句子出现的实体标签的最佳路径。

具体地，采用序列标注的检错模型结合通用领域的监督数据训练模型进行错误检测，所述序列标注的检错模型结合通用领域的监督数据训练模型，具体为：

文本表示层，通过skip-gram或者cbow的方式嵌入文本，文本表示为n*k的矩阵，其中n为句子的最大长度，k为词向量维度；

Bi-LSTM层，通过长短期记忆网络实现句子中每个字的输出，并通过数学结构保持长距离的字的信息，Bi-LSTM层的输出矩阵为n*2*h，其中h为文本表示层的维度；