[发明专利]一种标准文本的查重方法及系统

权利要求书

1.一种标准文本查重方法，其特征在于，所述方法包括：

根据上传的标准文本，从中提取有关信息；

对提取的有关信息进行预处理，即按照标准文本的要素格式将提取的有关信息划分为不同要素板块的待查重数据；

对各要素板块的待查重数据进行语义分析，确定该要素板块待查重数据的关键句或关键字词；

根据关键句或关键字词调度标准文本资料库中的相关标准文本，将待查重数据进行文本相似度的计算，通过计算获取各个标准文本要素板块以及调度出的各相应标准文本的相似度；具体步骤如下所述：

所上传的标准文本在分解成各个不同要素板块之后，以各个要素板块为单位，将每个要素板块单位里的所有句子与标准文本资料库里相关标准里的所有句子一一比对，得出每个句子中相异和相同词语的数量值；

将异同数量值之比作为各要素板块中每个句子与对比标准文本中每个句子的相似度，并取其中最高值，作为该要素板块与对比标准文本的总相似度；

将各个要素板块的总相似度进行加权平均，最终得到上传标准文本内容以及对比的标准文本内容的文本相似度。

2.根据权利要求1所述的一种标准文本查重方法，其特征在于：根据上传标准文本各要素板块内的关键字词或关键句，调度标准文本资料库内的相关标准文本。

3.根据权利要求2所述的调度标准文本资料库内的相关标准，其特征在于：根据上传标准文本各要素板块内的关键字词或关键句，筛选标准文本资料库内，含有相同或相似标准名称或标准文本内容中相同或相似各级标题的标准。

4.根据权利要求1所述的一种标准文本查重方法，其特征在于：从上传标准文本信息中提取有关信息为对比的样本，具体包括：从上传的标准文本信息中任取一条信息作为对比样本。

5.根据权利要求1所述的一种标准文本查重方法，其特征在于：对上传的标准文本进行要素板块划分，具体包括：按照标准的必备要素和可选要素对上传的标准文本进行要素板块划分。

6.根据权利要求1所述的一种标准文本查重方法，其特征在于：对各要素板块的待查重数据进行语义分析，确定该要素板块待查重数据的关键句或关键字词，具体包括：

通过标点符号的分隔作用将上传的标准文本各要素板块的内容分解为多个句子，使用分词器将每个句子分解为符合逻辑的多个词语，并且根据这些词语在语句中出现的主次位置结构、出现频次判定关键字词。

7.根据权利要求2所述的一种标准文本查重方法，其特征在于：对调度出的标准文本进行语义分析，确定该对比标准文本的关键句或关键字词，具体包括：

通过标点符号的分隔作用将上传的标准文本各要素板块的内容分解为多个句子，使用分词器将每个句子分解为符合逻辑的多个词语，并且根据这些词语在语句中出现的主次位置结构、出现频次判定关键字词。

8.根据权利要求1所述的一种标准文本查重方法，其特征在于：将相似度高于30％的标准文本标记为不合格，并在上传的标准文本中标记句子相似度高于40％的句子。

9.基于权利要1中的一种标准文本查重方法的系统，其特征在于，该系统包括：标准文本信息提取模块，标准要素板块划分模块，标准文本分解模块，标准对比文本调度模块，相似度计算模块，结果标记模块；

标准文本信息提取模块，用于上传有待查重的标准文本；

标准要素板块划分模块，用于划分标准文本内各个要素板块；

标准文本分解模块，用于对上传的标准文本各要素板块内容和调度出的对比标准文本内容进行分解；

标准对比文本调度模块，用于按照上传的文本各要素板块内容分解出的关键字词对标准资料库中相关的标准文本进行调度，以作相似度对比；

相似度计算模块，用于根据分解之后的上传标准文本和对比标准文本进行文本相似度计算；

结果标记模块，用于根据上传标准文本相似度情况，对相应的地方进行标记。

10.根据权利要求9所述的标准文本查重系统，其特征在于，标准对比文本调度模块中应用的标准文本资料库为企业内部标准数据库。