[发明专利]一种基于余弦定理的信息查重方法、系统及终端机

说明书

本发明提供一种基于余弦定理的信息查重方法、系统及终端机，涉及电力信息系统查重领域，采集文本信息；对文本信息，进行语料预处理；其中，语料预处理包括分词处理和去词处理；将预处理之后的文本信息转换为数值型数据，淡化出现频率超阈值的词语，并突出显示符合预设条件的词语，计算符合预设条件词语在文本信息中出现的频率；对符合预设条件词语的词频进行排序，形成最终的功能词汇数据集；基于功能词汇数据集，计算文本信息之间的相似度。实现信息查重功能，从而完成对新建项目的可研重复功能识别、量化，避免无序、重复建设，节约建设投资成本，实现数字化数据处理对项目文字处理，提升项目处理效率。

技术领域

本发明涉及电力信息系统查重领域，尤其涉及一种基于余弦定理的信息查重方法、系统及终端机。

背景技术

目前以数字化改革推进信息系统的集约建设，减少信息系统功能的重复实现、加强不同信息系统间和系统内功能间的互联互通、协同联动已成为当前的发展趋势。

企业中逐步实现业务“条块化”管理，信息系统建设时业务部门和互联网部门缺乏沟通和统筹，产生个个部门建系统、层层机构管数据的无序建设现象，不仅导致了现有信息系统功能的重复，还造成信息孤岛，阻碍信息系统功能的互联互通。

在当前的项目信息中，过往的信息量较多，但系统数量、功能清单、集成关系等台账信息不清晰，项目立项时缺乏有效的信息系统功能查重技术进行支撑，容易产生新系统与旧系统的功能重复，不利于系统的集约建设。而数字化建设流程环节和参与主体多，容易造成立项可研与实际建设不一致现象，产生建设偏差，且容易将一些相似功能变成相同功能，从而造成系统功能重复，与立项可研产出偏差。

发明内容

本发明提供一种基于余弦定理的信息查重方法，方法实现信息系统功能查重，从而完成对新建项目的可研重复功能识别、量化，避免无序、重复建设，节约建设投资成本，实现数字化数据处理对项目文字处理，提升项目处理效率。

方法包括：

步骤一、采集文本信息；

步骤二、对文本信息，进行语料预处理；

其中，语料预处理包括分词处理和去词处理；

步骤三、将预处理之后的文本信息转换为数值型数据，淡化出现频率超阈值的词语，并突出显示符合预设条件的词语，计算符合预设条件词语在文本信息中出现的频率；

步骤四、对符合预设条件词语的词频进行排序，形成最终的功能词汇数据集；

步骤五、基于功能词汇数据集，计算文本信息之间的相似度。

进一步需要说明的是，步骤一中，通过OCR文字识别技术从数据库中，对文本信息进行采集，将采集到的文本信息储存至文本库。

进一步需要说明的是，分词处理方式包括步骤如下：

文本信息具有n个词语，提取词语中的字符；

将提取的字符与词库中的字符进行匹配，若匹配成功，对字符进行切分；

若匹配不成功，则删除文本信息中任一个或多个词语，再提取词语中的字符；将提取的所述字符与词库中的字符进行匹配，若匹配成功，对字符进行切分；

若仍匹配不成功，循环上述步骤，直到文本信息中的词语全部进行匹配。

进一步需要说明的是，使用python的OS库实现去词处理；

现去词处理采用批处理去重、去掉停用词以及去掉非中文词；

去掉非中文词是通过正则表达式判断每一个词语是否符合预设的汉字字符数。