[发明专利]一种自动生成训练数据的错别字校对方法及装置

说明书

本发明公开了一种自动生成训练数据的错别字校对方法及装置，上述方法包括对给定语料进行分词处理，获得若干第一词组；根据各第一词组生成若干易混淆词集；从给定语料的若干第一词组中选定待替换第一词组，继而将核心词组与待替换第一词组相同的易混淆词集作为选定词集；将给定语料中的待替换第一词组替换为选定词集中的相似词组生成错误语料；将给定语料与错误语料作为训练数据集，根据训练数据集训练错别字校对模型；根据错别字校对模型对待校对文本进行校对。通过实施本发明能够解决现有人工收集错误语料耗时长，效率低的问题。

技术领域

本发明涉及计算机技术领域，尤其涉及一种自动生成训练数据的错别字校对方法及装置。

背景技术

错别字校对是文本校对其中一项工作。随着科技的发展，通过机器学习进行自动模型构建纠错的方式逐渐开始流行。在训练模型的过程中需要大量的训练数据，现有的训练数据需要人工收集用户的错误语料然后进行标注，生成训练样本。人工采集具有错别字的错误语料耗时费力，效率低下。

发明内容

本发明实施例提供一种自动生成训练数据的错别字校对方法及装置，能够自动生成具有错别字的错误语料，通过生成的错误语料训练错别字模型，最终通过错别字模型及进行错别字校对，降低了人力损耗，提高了效率。

本发明一实施例提供了一种自动生成训练数据的错别字校对方法，包括：

获取给定语料并对所述给定语料进行分词处理，获得若干第一词组；

根据各所述第一词组生成若干易混淆词集；其中，每一所述易混淆词集包括一核心词组以及若干与所述核心词组对应的相似词组，每一相似词组与所述核心词组在同一输入法下的输入操作相同；所述核心词组为一所述第一词组；

从所述给定语料的若干第一词组中选定待替换第一词组，继而将核心词组与所述待替换第一词组相同的易混淆词集作为选定词集；将所述给定语料中的待替换第一词组替换为所述选定词集中的相似词组，生成错误语料；

将所述给定语料与所述错误语料作为训练数据集，根据所述训练数据集训练错别字校对模型；

根据所述错别字校对模型对待校对文本进行校对。

进一步的，在根据各所述第一词组生成若干易混淆词集之后，还包括：

计算每一所述易混淆词集中核心词组与各相似词组之间的词向量余弦距离，将词向量余弦距离超过预设阈值的相似词组剔除。

进一步的，所述输入法包括以下任意一项或其组合：五笔输入法、拼音输入法和笔画输入法。

进一步的，在通过所述错别字校对模型对所述待校对文本进行校对时，若识别出错误词组，则将核心词组与所述错误词组相同的易混淆词集作为第二选定词集；将所述错误词组依次替换为所述第二选定词集中的相似词组，并对替换后的待校对文本进行重新校对，直至所述错别字校对模型输出文本检验正确的结果。

在上述方法项实施例的基础上本发明对应提供了装置项实施例；

本发明另一实施例提供了一种自动生成训练数据的错别字校对装置，包括分词模块、易混淆词集生成模块、错误语料生成模块、模型训练模块以及校对模块；

所述分词模块，用于获取给定语料并对所述给定语料进行分词处理，获得若干第一词组；

所述易混淆词集生成模块，用于根据各所述第一词组生成若干易混淆词集；其中，每一所述易混淆词集包括一核心词组以及若干与所述核心词组对应的相似词组，每一相似词组与所述核心词组在同一输入法下的输入操作相同；所述核心词组为一所述第一词组；

所述错误语料生成模块，用于从所述给定语料的若干第一词组中选定待替换第一词组，继而将核心词组与所述待替换第一词组相同的易混淆词集作为选定词集；将所述给定语料中的待替换第一词组替换为所述选定词集中的相似词组，生成错误语料；