[发明专利]标准文本纠错方法、装置、电子设备和存储介质

权利要求书

1.一种标准文本纠错方法，其特征在于，包括：

确定待纠错标准文本及其领域；所述待纠错标准文本是对标准文件进行光学字符识别得到的；

基于所述待纠错标准文本的领域对应的词典，顺序确定所述待纠错标准文本中的错误文本；所述错误文本为所述待纠错标准文本中未在所述词典中出现的分词或词序列；

基于所述待纠错标准文本的领域对应的词典，以及所述错误文本的前一分词和后一分词，对所述错误文本进行纠错；

其中，所述词典是基于所述领域中的样本标准文本建立的，所述词典中包括所述样本标准文本中出现的分词、包含所述分词的词组，以及所述词组出现的频率；

所述基于所述待纠错标准文本的领域对应的词典，以及所述错误文本的前一分词和后一分词，对所述错误文本进行纠错，具体包括：

基于所述错误文本及其前一分词和后一分词，确定多个候选词组序列；

基于各个候选词组序列中各词组在所述领域出现的概率，确定各个候选词组序列在所述领域出现的概率；

基于各个候选词组序列在所述领域出现的概率，确定所述错误文本的纠错文本；

其中，当所述错误文本仅包括一个分词时，所述候选词组序列由前置词组和后置词组构成；否则，所述候选词组序列由所述前置词组、若干中间词组以及所述后置词组构成；

所述前置词组中所述前一分词在前，所述后置词组中所述后一分词在后，所述中间词组的数量与所述错误文本中所有相邻分词组成的词组数量相同，并且所述候选词组序列中每两个相邻词组的首尾分词相同。

2.根据权利要求1所述的标准文本纠错方法，其特征在于，任一候选词组序列中的任一词组在所述领域出现的概率是基于如下步骤确定的：

确定所述任一词组在所述领域以及所有领域出现的频率；

基于所述任一词组在所述领域出现的频率以及在所有领域出现的频率之间的比值，确定所述任一词组在所述领域出现的概率；

其中，若所述任一词组不存在于所述词典，则将所述词典中包含所述任一词组中任一分词的所有词组在所述领域出现的最低概率作为所述任一词组在所述领域出现的概率。

3.根据权利要求1所述的标准文本纠错方法，其特征在于，所述确定所述错误文本的纠错文本，之后还包括：

基于所述错误文本的前一分词、后一分词，以及所述纠错文本，将相邻分词组成的词组添加到所述词典中，或，更新相邻分词组成的词组的频率，并将所述错误文本中的每一分词添加到所述词典中。

4.根据权利要求1所述的标准文本纠错方法，其特征在于，所述基于所述待纠错标准文本的领域对应的词典，顺序确定所述待纠错标准文本中的错误文本，具体包括：

遍历所述待纠错标准文本中的每个分词，若任一分词在所述词典中不存在，则继续判断所述任一分词的下一分词，直至遍历到存在于所述词典的分词，确定所述任一分词至当前遍历位置之前的分词的文本片段为一个错误文本，并继续遍历；若任一分词存在于所述词典，则基于所述任一分词的相邻分词，更新所述词典，并继续遍历。

5.根据权利要求4所述的标准文本纠错方法，其特征在于，所述若任一分词存在于所述词典，则基于所述任一分词的相邻分词，更新所述词典，具体包括：

若所述相邻分词存在于所述词典中，且所述任一分词与所述相邻分词构成的词组也存在于所述词典中，则将所述任一分词与所述相邻分词构成的词组的频率加1；

若所述相邻分词存在于所述词典中，且所述任一分词与所述相邻分词构成的词组不存在于所述词典中，则将所述任一分词与所述相邻分词构成的词组添加到所述词典中，并将对应频率置1。

6.根据权利要求1至5任一项所述的标准文本纠错方法，其特征在于，所述词典是基于如下步骤构建的：

收集所述领域的样本标准文件，并对所述样本标准文件进行光学字符识别，得到样本标准文本；

对所述样本标准文本进行分词；

从所述样本标准文本的首个分词开始，将各个分词以及各个分词及其后一分词组成的词组添加到所述词典中，并统计各个分词组成的词组在所述领域以及所有领域出现的频率。