[发明专利]一种论文元数据的相似度计算方法和计算机可读存储介质

说明书

技术领域

本发明涉及计算机数据处理技术领域，特别是涉及一种论文元数据的相似度计算方法和计算机可读存储介质。

背景技术

当前，科研成果成为国内各高校及科研院所等单位衡量其基础研究实力的评价标准，众多高校的职称评定、绩效考核、院系奖金等与科研产出和影响力直接挂钩，同时也为学校及相关部门进行院系重组、发展调整和规划等重大决策提供了客观事实依据。论文作为科研成果的重要载体，在科研成果的统计中占据重要地位。随着信息技术的发展和科研传播的全球化，各种文摘数据库在不同层次不同范围提供论文元数据的检索服务，从不同文摘数据库收集论文元数据进行统计分析是对机构论文成果进行评估的重要手段，但由于各数据库的数据来源存在不同程度的重叠使得汇聚在一起的论文元数据存在一定的冗余，这在一定程度上影响了统计分析的准确性，因此对从不同数据库汇聚的元数据进行冗余检测并去除重复数据是进行后续数据处理的基础，其中如何判断元数据是否相同是冗余检测的关键。

一直以来，业内对于网络非结构数据判重问题的研究较多，各种算法成果也层出不穷，且目前的各类搜索引擎中均有运用。目前判断论文元数据是否相同主要通过比较元数据中的有关字段值是否一致，例如doi(数字对象唯一标识符(Digital Object Unique Identifier-DOI))是否相同，作者标题机构是否相同，出版机构、年、期、页码是否一致等等。但元数据作为带语义的结构化数据，其判重标准和准确度的要求都更为精确。故现有的对于非结构化数据的判重方案，并不能完全满足元数据判重的要求。另外，通常应用于数据库的精确判重方案更不能适合在元数据这种本身可能存在的部分数据错误的环境中。

发明内容

本发明的目的在于避免现有技术中的不足之处而提供一种论文元数据的相似度计算方法和计算机可读存储介质，该论文元数据的相似度计算方法和计算机可读存储介质可提高论文元数据冗余检测的准确性。

本发明的目的通过以下技术方案实现：

提供一种论文元数据的相似度计算方法，该方法包括如下步骤：

对需比较的两个论文元数据，提取第一个论文元数据中的至少两个特征，提取第二个论文元数据中相应的特征；

确定这两个论文元数据的被提取的每个相应特征的相似度；

根据各个特征被赋予的权重，对各个特征的相似度进行加权计算，得出这两个论文元数据的相似度。

其中，在提取特征之前对元数据的相关字段进行数据清洗和规整。

其中，所述特征类型包括作者、摘要、标题、doi、出版期数、出版卷号和页码中的至少两个。

其中，提取的特征当中：

作者：提取元数据中的作者字段，对字符串以分割符分割得到作者列表，将作者列表和字段字符串保存为作者特征值；

摘要：提取元数据中的摘要字段，对字符串进行分词得到摘要的词列表，将词列表和字段字符串保存为摘要特征值；

标题：提取元数据中的标题字段，对字符串进行分词得到标题的词列表，将词列表和字段字符串保存为标题特征值；

doi：提取元数据中的doi字段，字段字符串保存为doi特征值；

出版期数：提取元数据中的出版期数字段，字段字符串转换为数字保存为出版期数特征值；

出版卷号：提取元数据中的出版卷号字段，字段字符串转换为数字保存为出版卷号特征值；

页码：提取元数据中的页码字段，对字符串提取出其中的数字，按照数值的大小分别与起始页、结束页进行匹配，将字段字符串和起始页、结束页作为页码特征值。

其中，所述特征的相似度计算模块执行如下方法：

作者：若字段字符串相同则置为1，否则统计作者列表中相同位置值相同的元素数量记为N，记两个作者列表的最大长度为M，则相似度值置为N/M，

摘要：若字段字符串相同则置为1，否则相似度值置为词列表之间的cosine距离，

标题：若字段字符串相同则置为1，否则相似度值置为词列表之间的cosine距离，

doi：若字段字符串相同则置为1，否则置为0，

出版期数:若字段字符串或者出版期数值相同则置为1，否则置为0，

出版卷号：若字段字符串或者出版卷号值相同则置为1，否则置为0，

页码：若字段字符串或者起始页、结束页相同则置为1，否则置为0。

其中，对于所有特征，若元数据对之间某一个特征值为空则将该特征的相似度置为0.5，同时将该特征对应的权重置为1。