[发明专利]一种适用于特定垂直领域的文本纠错方法及其纠错装置

说明书

本发明公开了一种适用于特定垂直领域的文本纠错方法及其纠错装置，包括以下步骤：S1、将文本导入经过预训练的Bert纠错模型中，进行文本词义纠错；S2、将经过Bert纠错模型纠错后的文本导入拼音纠错模型中，进行二次纠错；S3、将经过拼音纠错模型进行二次纠错后的文本导入热词替换规则模型中，进行第三次纠错。本发明中，将用户输入的文本先倒入Bert纠错模型进行文本纠错，再将修正过一次的文本导入拼音纠错模型进行二次纠错，从而在对文本进行语义修正后，针对垂直领域的专有名词进行修正以达到加强效果，提高了文本纠错的准确率，之后再将二次纠错后的文本倒入热词替换规则模型进行热词替换，将方言等口语化文本转换为专有名词，再次增强纠错效果。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种适用于特定垂直领域的文本纠错方法及其纠错装置。

背景技术

自然语言处理(NLP)是一种专业分析人类语言的人工智能，现代NLP是一门融合了语言学、计算机科学和机器学习的混合学科，为了让NLP可以更准确的对输入的文本进行回应，我们需要对文本进行纠错，从而减少噪音。目前的文本纠错主要着重于进行语义分析，以寻找并替换错别字为主，市面上的文本纠错模型主要分为机器学习和深度学习两大类。

然而，首先，机器学习模型无法对数据进行拟合，因此准确率低下，而深度学习模型需要大量的准确语料，同时需要大量的时间进行训练，并且在垂直领域，因语料噪音问题，普通深度模型的准确率仍需要提升；

其次，在垂直领域中有许多该场景下才会使用的专有名词，仅依靠语义纠错难以检测出专有名词中的错别字，并且模型甚至有可能基于语料将正确的词改成错误的；

最后，因为方言或个人习惯，对同一种事物可能会有多种称呼方式，这些称呼可能会导致噪音，使得NLP难以取得正确的信息，但是，这些用语严格来说并不是错误的，一般的纠错难以对这些词产生反应。

发明内容

为了解决上述背景技术中所提到的技术问题，而提出的一种适用于特定垂直领域的文本纠错方法及其纠错装置。

为了实现上述目的，本发明采用了如下技术方案：

一种适用于特定垂直领域的文本纠错方法，包括以下步骤：

S1、将文本导入经过预训练的Bert纠错模型中，进行文本词义纠错；

S11、根据标点符号将文本切分为短句；

S12、对短句中的第一个字进行掩码处理；

S13、并通过经过预训练的Bert纠错模型对被掩码处理的字进行短句句以进行预测，并将所有的预测结果存储在列表一中，列表一中的预测结果按照预测分数从大到小的顺序排列；

S131、若被掩码的字在列表一中，则将被掩码的字视为正确的；

S132、若被掩码的字不在列表一中，则根据拼音获取所有与被掩码的字发音相同的常见字并存于列表二中；

S1321、若列表一和列表二中存在相同的字，则将被掩码的字视为错别字，从列表一中选出预测分数最高的字代替被掩码的字以达到纠错目的；

S1322、若列表一和列表二中的字均不一致，则将被掩码的字视为正确的；

S14、在判断完短句的第一个字后，将短句中的下一个字进行掩码处理并重复步骤S13，直到检测并纠正完文本中的所有汉字；

S2、将经过Bert纠错模型纠错后的文本导入拼音纠错模型中，进行二次纠错；

S21、将经过Bert纠错模型纠错后的所有文本转换为拼音；

S22、将热词的拼音和文本的拼音按字数由小到大依次对照；