[发明专利]标准文本纠错方法、装置、电子设备和存储介质

说明书

本发明提供一种标准文本纠错方法、装置、电子设备和存储介质，其中方法包括：确定待纠错标准文本及其领域；所述待纠错标准文本是对标准文件进行光学字符识别得到的；基于所述待纠错标准文本的领域对应的词典，顺序确定所述待纠错标准文本中的错误文本；所述错误文本为所述待纠错标准文本中未在所述词典中出现的分词或词序列；基于所述待纠错标准文本的领域对应的词典，以及所述错误文本的前一分词和后一分词，对所述错误文本进行纠错；其中，所述词典是基于所述领域中的样本标准文本建立的，所述词典中包括所述样本标准文本中出现的分词、包含所述分词的词组，以及所述词组出现的频率。本发明提高了标准文件的数字化结果的准确性。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种标准文本纠错方法、装置、电子设备和存储介质。

背景技术

随着标准化建设的普及和产业高质量发展，越来越多的企业事业单位用户参与和使用标准，对应标准的编写和应用的需求不断增多。在使用标准文本的过程中，对应标准的内容理解、解读、使用，往往需要大量的时间和精力对标准宣贯内容进行学习。

在对标准文件进行数字化的过程中，有些特殊字符很难通过机器识别或识别错误，因而往往有许多文字性错误需要纠正。因此，针对标准文件中的错误词汇，需要一种准确的纠错方式进行自动纠错。

发明内容

本发明提供一种标准文本纠错方法、装置、电子设备和存储介质，用以解决现有技术中存在大量文字性错误的缺陷。

本发明提供一种标准文本纠错方法，包括：

确定待纠错标准文本及其领域；所述待纠错标准文本是对标准文件进行光学字符识别得到的；

基于所述待纠错标准文本的领域对应的词典，顺序确定所述待纠错标准文本中的错误文本；所述错误文本为所述待纠错标准文本中未在所述词典中出现的分词或词序列；

基于所述待纠错标准文本的领域对应的词典，以及所述错误文本的前一分词和后一分词，对所述错误文本进行纠错；

其中，所述词典是基于所述领域中的样本标准文本建立的，所述词典中包括所述样本标准文本中出现的分词、包含所述分词的词组，以及所述词组出现的频率。

根据本发明提供一种的标准文本纠错方法，所述基于所述待纠错标准文本的领域对应的词典，以及所述错误文本的前一分词和后一分词，对所述错误文本进行纠错，具体包括：

基于所述错误文本及其前一分词和后一分词，确定多个候选词组序列；

基于各个候选词组序列中各词组在所述领域出现的概率，确定各个候选词组序列在所述领域出现的概率；

基于各个候选词组序列在所述领域出现的概率，确定所述错误文本的纠错文本；

其中，当所述错误文本仅包括一个分词时，所述候选词组序列由前置词组和后置词组构成；否则，所述候选词组序列由所述前置词组、若干中间词组以及所述后置词组构成；

所述前置词组中所述前一分词在前，所述后置词组中所述后一分词在后，所述中间词组的数量与所述错误文本中所有相邻分词组成的词组数量相同，并且所述候选词组序列中每两个相邻词组的首尾分词相同。

根据本发明提供的一种标准文本纠错方法，任一候选词组序列中的任一词组在所述领域出现的概率是基于如下步骤确定的：

确定所述任一词组在所述领域以及所有领域出现的频率；

基于所述任一词组在所述领域出现的频率以及在所有领域出现的频率之间的比值，确定所述任一词组在所述领域出现的概率；

其中，若所述任一词组不存在于所述词典，则将所述词典中包含所述任一词组中任一分词的所有词组在所述领域出现的最低概率作为所述任一词组在所述领域出现的概率。