[发明专利]一种基于余弦定理的信息查重方法、系统及终端机

摘要

本发明提供一种基于余弦定理的信息查重方法、系统及终端机，涉及电力信息系统查重领域，采集文本信息；对文本信息，进行语料预处理；其中，语料预处理包括分词处理和去词处理；将预处理之后的文本信息转换为数值型数据，淡化出现频率超阈值的词语，并突出显示符合预设条件的词语，计算符合预设条件词语在文本信息中出现的频率；对符合预设条件词语的词频进行排序，形成最终的功能词汇数据集；基于功能词汇数据集，计算文本信息之间的相似度。实现信息查重功能，从而完成对新建项目的可研重复功能识别、量化，避免无序、重复建设，节约建设投资成本，实现数字化数据处理对项目文字处理，提升项目处理效率。