[发明专利]一种科技项目查重对比的方法

说明书

本发明一种科技项目查重对比的方法涉及信息内容相似度的查重的方法，尤其是涉及利用科技立项过程中确定申请的文件材料是否重复的查重的方法。具体的技术方案为：一种科技项目查重对比的方法，其特殊之处在于，是通过下述步骤实现的：将待比对的项目和已知的项目输入数据格式化模块，并依次通过分词处理模块、查重比对模块、查重判定模块、报告模块，最终获得项目相似度评价表。本发明的技术方案具有在检索查重领域快速、准确的特点。

技术领域

本发明一种科技项目查重对比的方法涉及信息内容相似度的查重的方法，尤其是涉及利用科技立项过程中确定申请的文件材料是否重复的查重的方法。

背景技术

为了避免在科技项目和科技成果的重复申报而导致的科研经费浪费现象，在科技项目和科技成果的申报审核过程中，主要依靠人工审查方式和通过将项目申报书关键词集与项目数据库做简单比对这两种查重方式，将重复申报的项目从大量上报的项目中筛选出来。这两种筛选方式虽然也能够在一定程度上减少科研项目的重复申报，但是仍然存在效率低下和容易出现错判、漏判的缺点。特别是简单比对项目申报书关键词集的查重方式，一旦申报者更换标题或将项目申报书的内容稍加改变，则能够轻易避开查重系统。针对这一问题，国内部分科技项目管理系统尝试将历年申报的项目数据库中的数据与新上报的项目数据做进行简单分析比较，但是可靠性较差。

发明内容

本发明所要解决的技术问题是提供一种项目查重比对系统及方法，提高科技项目查重比对的效率，解决现有技术中难以对重复申报的科技项目做出有效检测的技术问题。

具体的技术方案为：一种科技项目查重对比的方法，其特殊之处在于，是通过下述步骤实现的：将待比对的项目和已知的项目这两个项目输入数据格式化模块，并依次通过分词处理模块、查重比对模块、查重判定模块、报告模块，最终获得项目相似度评价表；

A，数据格式化模块：将两个项目中各个字段信息使用UTF-8编码进行格式化编码；

B，文本判定模块：计算数据格式化模块格式化后文本的大小，当大于150字节，则标记为长文本，否则标记短文本；

C，分词处理模块：对格式化后的项目各个字段信息分词，并将分词后的字段特征文本以字段名为标签存入项目比对文件(XML格式) 形成特征词集合，且分词处理模块中还分为长文本分词模块和短文本分词模块；长文本分词模块：对长文本进行分词，分词采用Simhash算法，得到特征词对，其中包括特征词和权重，权重通过计算每个特征词在文本中的出现次数得出；短文本分词模块：对短文本进行分词，分词采用Shingle算法，对于段文本长度为L，每隔N个字符切一个特征词，如此切下去一共可以得到L-N+1个特征词（根据科技项目的特点，一般取N=10）；

D，查重比对模块：依次取出两个项目比对文件中相同字段名标签下的特征词文本，为两个项目的逐项比对做好准备；长文本比对模块：先取两个项目相同字段名标签下的特征词对集合，分别采用64位Simhash方法处理这两个集合，分别生成指纹签名集，比较这两个指纹签名集的海明距离来判定项目的相似度；短文本比对模块：先取两个项目相同字段名标签下Shingle特征词集合A和B的交集，然后除以两个集合A和B的并集，计算出jaccard系数，将J与0.3比较, 若J大于0.3则判断两项目该字段内容相似（相似度值为1）；

E，查重判定模块：根据项目各个字段的相似度值和比对数据库中项目权重评价表与之对应的项目各个字段的权重（各字段权重之和等于1），使用模糊综合评价法对两个项目进行相似度比较，当两个项目的相似度大于0.7，则判断两个项目相似；

F，报告模块：将两个项目的查重判定结果生成报告页返回给用户，若两个项目相似，则报告页面将逐条显示两个项目的相似内容；

G，项目相似度评价表：记录在比对数据库中，记录项目各比对字段的相似度值和最终查重结果，当两个项目相似，记为1，否则记为0。