[发明专利]一种基于分布式架构的实体匹配方法

摘要

本发明公开了一种基于分布式架构的实体匹配方法，依次包括如下步骤块生成步骤，对于每个数据元组生成若干个关键词，合并具有相同关键词的数据元组得到若干个块；接口实现步骤，将包含过多数据元组的块分割成多个子块，对于每个块或者子块生成至少一个数字签名sig并计算数字签名sig的Tightness Index值；实体匹配步骤，将包含过多数据元组的块分割成多个子块，选取块或者子块具有Tightness Index值最小的sig作为其Key值，随后构建两两待比较记录对进行实体匹配并采用集合记录已匹配的记录对。本发明适用于分布式文件系统，可均衡多个节点的负载，并可避免重复比较记录对，提高分布式文件系统整体的运行性能。

主权项

一种基于分布式架构的实体匹配方法，该方法是对分布式文件系统中相似数据元组进行匹配的方法，其特征在于，依次包括如下步骤：块生成步骤，采用多个块生成函数对于每个数据元组生成至少一个关键词，将具有相同关键词的数据元组合并为一个块；接口实现步骤，包括下述子步骤：a.设定块中包含最大数据元组数的阈值，当块所含数据元组数大于阈值时对其进行均匀分割，得到多个所含数据元组数量不超过阈值的自交子块，将所述自交子块交叉合并，生成所含数据元组数量不超过阈值的两倍的交叉子块，直至分割所有块为止；b.对于每个块或者子块生成至少一个数字签名sig，计算所述至少一个数字签名sig的每个数字签名sig的Tightness Index值；实体匹配步骤，其包括下述子步骤：a.根据每个所述数字签名sig的Tightness Index值选取其中一个所述数字签名sig作为所述每个块、自交子块或者交叉子块的Key值；b.对具有相同Key值的所述块、自交子块或者交叉子块中的数据元组进行两两匹配，输出匹配结果，并采用集合保存已匹配的数据元组以避免相同记录对重复比较。