[发明专利]文本处理方法及装置

权利要求书

1.一种文本处理方法，其特征在于，包括：

获取待处理文本；

对所述待处理文本进行检错处理，得到所述待处理文本中的非词；

若所述待处理文本中的非词属于第一类非词，将所述待处理文本中的非词作为所述待处理文本中的非词的校正结果；

若所述待处理文本中的非词属于第二类非词、第三类非词或第四类非词，选择与所述待处理文本中的非词的类别匹配的校正方式对所述待处理文本中的非词进行校正，得到所述待处理文本中的非词的校正结果；

其中，所述第一类非词包括全大写字母非词、字长在预设字长范围内的非词和属于第一预设词库的非词，所述第二类非词包括合并错误非词，所述第三类非词包括包含非字母的字符的非词，所述第四类非词包括除所述第一类非词、所述第二类非词、所述第三类非词之外的其他非词。

2.如权利要求1所述的方法，其特征在于，所述若所述待处理文本中的非词属于第二类非词、第三类非词或第四类非词，选择与所述待处理文本中的非词的类别匹配的校正方式对所述待处理文本中的非词进行校正，得到所述待处理文本中的非词的校正结果，包括：

若所述待处理文本中的非词属于所述第四类非词，生成所述待处理文本中的非词对应的候选词；

在所述待处理文本中的非词对应的候选词中确定所述待处理文本中的非词对应的目标候选词；

根据所述待处理文本中的非词对应的目标候选词对所述待处理文本中的非词进行校正，得到所述待处理文本中的非词的校正结果。

3.如权利要求2所述的方法，其特征在于，所述在所述待处理文本中的非词对应的多个候选词中确定所述待处理文本中的非词对应的目标候选词，包括：

根据所述待处理文本中的非词与所述待处理文本中的非词对应的候选词之间的相似性以及所述待处理文本中的非词对应的候选词的困惑度对所述待处理文本中的非词对应的候选词进行评分，其中，所述待处理文本中的非词对应的候选词的困惑度用于指示所述待处理文本中的非词对应的候选词在所述待处理文本中出现的可能性；

将所述待处理文本中的非词对应的候选词中评分最高的候选词确定为所述待处理文本中的非词对应的目标候选词。

4.如权利要求2或3所述的方法，其特征在于，所述待处理文本中的非词与所述待处理文本中的非词对应的候选词之间的相似性满足第一预设条件。

5.如权利要求2至4中任一项所述的方法，其特征在于，所述根据所述待处理文本中的非词对应的目标候选词对所述待处理文本中的非词进行校正，得到所述待处理文本中的非词的校正结果，包括：

在所述待处理文本中的非词对应的目标候选词的困惑度低于或等于第一困惑度阈值的情况下，利用所述待处理文本中的非词对应的目标候选词替换所述待处理文本中的非词，作为所述待处理文本中的非词的校正结果。

6.如权利要求1至5中任一项所述的方法，其特征在于，所述合并错误非词为包括至少两个真词的非词，以及

所述若所述待处理文本中的非词属于第二类非词、第三类非词或第四类非词，选择与所述待处理文本中的非词的类别匹配的校正方式对所述待处理文本中的非词进行校正，得到所述待处理文本中的非词的校正结果，包括：

若所述待处理文本中的非词属于所述第二类非词，对所述待处理文本中的非词进行校正，得到所述至少两个真词，作为所述待处理文本中的非词的校正结果。

7.如权利要求1至6中任一项所述的方法，其特征在于，所述若所述待处理文本中的非词属于第二类非词、第三类非词或第四类非词，选择与所述待处理文本中的非词的类别匹配的校正方式对所述待处理文本中的非词进行校正，得到所述待处理文本中的非词的校正结果，包括：

若所述待处理文本中的非词属于所述第三类非词，将所述待处理文本中的非词中的非字母的字符修改为字母，将修改后的词作为所述待处理文本中的非词的校正结果。