[发明专利]针对不同领域字词的定制化纠错方法、系统、设备及介质

说明书

本申请提供一种针对不同领域字词的定制化纠错方法、系统、设备及介质，所述方法包括：获取输入的待纠错文本；利用字词识别模型抽取所述待纠错文本中预设属性的字词；所述预设属性包括预设领域和预设长度；匹配出与所抽取字词相近的纠错参考字词；对比所抽取字词与所述纠错参考字词之间的差异程度，根据所述差异程度进行纠错。本申请可以针对特定领域的不同错误类型进行高效纠错。

技术领域

本申请属于文本检测的技术领域，涉及一种纠错方法，特别是涉及一种针对不同领域字词的定制化纠错方法、系统、设备及介质。

背景技术

随着自然语言处理技术的不断发展，文本纠错技术已经取得了巨大的进展。从最初的基于规则的纠错系统到现在的基于机器学习的纠错系统，技术的发展已经帮助人们解决了大量的文本纠错问题。

基于规则的纠错系统是最早的文本纠错技术。它们通过预先定义的语法规则来检测文本中的错误。然而，这种方法存在一些缺陷，例如无法识别拼写错误和新词语。随着机器学习技术的发展，文本纠错技术也发生了重大变化。基于机器学习的纠错系统通过分析大量的文本数据来学习语言模型，从而识别和纠正文本中的错误。然而，很多训练的语言模型需要构建与正确词汇对应的错误集，因此，训练数据以及所构建的模型都比较复杂，而且在词语匹配时匹配到的可能并不是一个词语，大量文本其实并不包含所需要检测的词语，进行大量词语匹配比较耗时。

发明内容

本申请的目的在于提供一种针对不同领域字词的定制化纠错方法、系统、设备及介质，用于解决特定领域内字词出现各种错误类型纠错的问题。

本申请实施例第一方面提供一种针对不同领域字词的定制化纠错方法，所述方法包括：获取输入的待纠错文本；利用字词识别模型抽取所述待纠错文本中预设属性的字词；所述预设属性包括预设领域和预设长度；匹配出与所抽取字词相近的纠错参考字词；对比所抽取字词与所述纠错参考字词之间的差异程度，根据所述差异程度进行纠错。

在第一方面的一种实施方式中，所述字词识别模型的训练数据基于预设属性的正确字词进行构造。

在第一方面的一种实施方式中，所述训练数据的构造过程包括：设定不同错误类型的句子数量；所述错误类型包括错字、多字、少字和乱序；按照所设定的错字的句子数量，将所述正确字词中的某一个字随机替换为与之同音或同形的另一个字；按照所设定的多字的句子数量，在所述正确字词中随机插入一个字；按照所设定的少字的句子数量，在所述正确字词中随机删除一个字；按照所设定的乱序的句子数量，随机调换所述正确字词中两个字词的位置；将包含所述正确字词的原始句子放入所述训练数据中；在参与构造的句子中标注已进行错误处理的或原始的正确字词的位置。

在第一方面的一种实施方式中，所述匹配出与所抽取字词相近的纠错参考字词的步骤，包括：利用相似度算法获取文本和拼音上都与所抽取字词相似的备选的正确词语；针对备选的正确词语再次进行相似度计算，确定最终的纠错参考字词。

在第一方面的一种实施方式中，所述对比所抽取字词与所述纠错参考字词之间的差异程度，根据所述差异程度进行纠错的步骤，包括：响应于所抽取字词与所述纠错参考字词之间存在差异，确定抽取字词与所述纠错参考字词的不同之处，分析不同之处的差异类型；根据所述差异类型确定纠错方式。

在第一方面的一种实施方式中，所述根据所述差异类型确定纠错方式的步骤，包括：针对不同的纠错参考字词，确定所抽取字词与每一个纠错参考字词相比错误的字数总和，选择出所抽取字词替换字数最少即可转变成的纠错参考词进行纠错；响应于所抽取字词与不同的纠错参考词之间相比错误字数相同，选取错误位置在句子后面的纠错参考词进行纠错；响应于所抽取字词与不同的纠错参考字词之间存在多种差异类型，根据拼音选择与所抽取字词最接近的纠错参考词进行纠错。

在第一方面的一种实施方式中，在所述根据所述差异程度进行纠错的步骤之后，所述方法还包括：结合已积累的所述预设领域的误报案例，确定后处理过滤规则；利用所述后处理过滤规则对纠错后的字词进行误报分析，排除误报情况。