[发明专利]基于WEB信息的关系数据的属性值同一性判定方法

说明书

本发明公开了一种基于WEB信息的关系数据的属性值同一性判定方法，用于解决现有属性值同一性判定方法准确率差的技术问题。技术方案是采用查询算法产生查询关键字，利用WEB对数据库中的信息进行扩展，利用自然语言处理方法和命名实体识别方法提取相关的实体；使用FPTree算法在检索的片段中提取出频繁项目集，并把其当做图的节点；通过共现和语义关系两种方法提取实体键间的关系并构建边；使用Durand‑Pasari算法从构建的实体关系图中提取包含待判定属性的最大公共子图；使用Durand‑Pasari提取最大公共子图的公共模式；根据关系模式匹配的结果判定属性值的相似度，提高了属性值同一性判定方法的准确率。

技术领域

本发明涉及一种属性值同一性判定方法，特别涉及一种基于WEB信息的关系数据的属性值同一性判定方法。

背景技术

实体同一性判定又称重复实体检测或记录匹配，是改善数据质量的一种重要技术。属性值的同一性判定是关系数据实体同一性判定的重要基础。

文献“《计算机学报》2015年第38卷第10期:2028-2040页”中使用了一种仅依靠属性特征进行同一性判定的方法，首先对属性同一性判定问题进行形式化描述，属性特征分为直观特征和对比特征两类，对属性特征的概率分布进行量化分析，以判定属性同一性。但在实际属性同一性判定中仅根据单一属性的特征不能准确的判定属性的同一性。

发明内容

为了克服现有属性值同一性判定方法准确率差的不足，本发明提供一种基于WEB信息的关系数据的属性值同一性判定方法。该方法采用基于规则的查询算法和基于遗传的查询算法产生查询关键字，利用WEB对数据库中的信息进行扩展，利用现有的 NLP自然语言处理方法和命名实体识别方法提取相关的实体；使用FPTree算法在检索的片段中提取出频繁项目集，并把其当做图的节点；通过共现和语义关系两种方法提取实体键间的关系并构建边；使用Durand-Pasari算法从构建的实体关系图中提取包含待判定属性的最大公共子图，要求节点类型相同和节点值相同；使用Durand-Pasari提取最大公共子图的公共模式只要求节点类型相同；根据关系模式匹配的结果判定属性值的相似度，可以提高属性值同一性判定方法的准确率。

本发明解决其技术问题所采用的技术方案：一种基于WEB信息的关系数据的属性值同一性判定方法，其特点是包括以下步骤：

步骤一、利用WEB搜索引擎获取WEB信息对实体进行扩展，采用两种算法生成有效的查询关键字。一种是基于规则的查询算法，函数依赖规则fd:X→Y，即属性集合 X唯一决定属性集合Y。使用属性集合X中的属性值作为查询关键字，通过搜索引擎检索相关的信息。在一张关系表中，存在多条函数依赖规则，同时也将得到多组查询关键字。选择出FITNESS值最高的查询关键字作为最终的查询关键字。另一种是基于遗传的查询算法，首先设定阈值FT，在所选择元组中随机的将每一个属性值设置为0或1，产生固定数量的随机组合P,其中1表示被选择为查询关键字，0表示不被选择为查询关键字。通过这种方法得到多组查询关键字，并且计算每一组查询关键字的FITNESS值，从中挑选出FITNESS值最大的查询关键字。如果最大的FITNESS没有超过FT，执行选择操作产生一个新的P_new，在选择操作过程中使用轮盘赌策略，FITNESS值越大被选择的可能性越大。选择查询关键字I的可能性表示为在交叉阶段，使用统一交叉策略并且在P_new中随机交叉两个随机组合。在突变阶段随机逆转随机组合中的一位。当FITNESS的最大值超过阈值，则算法结束。FITNESS值最高的查询关键字作为最终的查询关键字。使用FITNESS定义查询关键字的有效性：

FITNESS(QP(A_m))＝α×SUPPORT+(1-α)×CONFIDENCE (1)