[发明专利]一种自动生成训练数据的错别字校对方法及装置

权利要求书

1.一种自动生成训练数据的错别字校对方法，其特征在于，包括：

获取给定语料并对所述给定语料进行分词处理，获得若干第一词组；

根据各所述第一词组生成若干易混淆词集；其中，每一所述易混淆词集包括一核心词组以及若干与所述核心词组对应的相似词组，每一相似词组与所述核心词组在同一输入法下的输入操作相同；所述核心词组为一所述第一词组；

从所述给定语料的若干第一词组中选定待替换第一词组，继而将核心词组与所述待替换第一词组相同的易混淆词集作为选定词集；将所述给定语料中的待替换第一词组替换为所述选定词集中的相似词组，生成错误语料；

将所述给定语料与所述错误语料作为训练数据集，根据所述训练数据集训练错别字校对模型；

根据所述错别字校对模型对待校对文本进行校对。

2.如权利要求1所述的自动生成训练数据的错别字校对方法，其特征在于，在根据各所述第一词组生成若干易混淆词集之后，还包括：

计算每一所述易混淆词集中核心词组与各相似词组之间的词向量余弦距离，将词向量余弦距离超过预设阈值的相似词组剔除。

3.如权利要求1所述的自动生成训练数据的错别字校对方法，其特征在于，所述输入法包括以下任意一项或其组合：五笔输入法、拼音输入法和笔画输入法。

4.如权利要求1所述的自动生成训练数据的错别字校对方法，其特征在于，在通过所述错别字校对模型对所述待校对文本进行校对时，若识别出错误词组，则将核心词组与所述错误词组相同的易混淆词集作为第二选定词集；将所述错误词组依次替换为所述第二选定词集中的相似词组，并对替换后的待校对文本进行重新校对，直至所述错别字校对模型输出文本检验正确的结果。

5.一种自动生成训练数据的错别字校对装置，其特征在于，包括分词模块、易混淆词集生成模块、错误语料生成模块、模型训练模块以及校对模块；

所述分词模块，用于获取给定语料并对所述给定语料进行分词处理，获得若干第一词组；

所述易混淆词集生成模块，用于根据各所述第一词组生成若干易混淆词集；其中，每一所述易混淆词集包括一核心词组以及若干与所述核心词组对应的相似词组，每一相似词组与所述核心词组在同一输入法下的输入操作相同；所述核心词组为一所述第一词组；

所述错误语料生成模块，用于从所述给定语料的若干第一词组中选定待替换第一词组，继而将核心词组与所述待替换第一词组相同的易混淆词集作为选定词集；将所述给定语料中的待替换第一词组替换为所述选定词集中的相似词组，生成错误语料；

所述模型训练模块，用于将所述给定语料与所述错误语料作为训练数据集，根据所述训练数据集训练错别字校对模型；

所述校对模块，用于根据所述错别字校对模型对待校对文本进行校对。

6.如权利要求5所述的自动生成训练数据的错别字校对装置，其特征在于，还包括词组剔除模块；

所述词组剔除模块，用于计算每一所述易混淆词集中核心词组与各相似词组之间的词向量余弦距离，将词向量余弦距离超过预设阈值的相似词组剔除。

7.如权利要求5所述的自动生成训练数据的错别字校对装置，其特征在于，所述校对模块在通过所述错别字校对模型对所述待校对文本进行校对时，若识别出错误词组，则将核心词组与所述错误词组相同的易混淆词集作为第二选定词集；将所述错误词组依次替换为所述第二选定词集中的相似词组，并对替换后的待校对文本进行重新校对，直至所述错别字校对模型输出文本检验正确的结果。