[发明专利]一种MES系统的标识数据库去重方法及系统

权利要求书

1.一种MES系统的标识数据库去重方法，其特征在于，所述去重方法包括如下步骤：

将待处理的每个标识数据库分别作为一个从节点，将空闲的运算节点作为主节点，并按照标识数据库中存储的数据的重要程度对所述从节点进行顺序标号；

采用主节点和从节点交互的方式，利用近邻排序算法将所有从节点中的数据分成N份，得到N个数据集；

采用主节点和从节点交互的方式，分别计算每个数据集的最小签名矩阵，具体包括：每个所述从节点分别将所述从节点中包含在第n个数据集中的数据转换成集合形式，求集合形式的数据的并集，并进行顺序打乱后，得到每个从节点的待处理数据子集n_i，并分别将每个从节点的待处理数据子集发送给同一主节点；其中，n_i表示第i个从节点的待处理数据子集；所述主节点对每个从节点的待处理数据子集取并集，得到第n个数据元素全集，并将第n个数据元素全集分别发送给每个所述从节点；每个所述从节点分别根据第n个数据元素全集采用t个哈希函数计算所述从节点中包含在第n个数据集中的数据的最小哈希值，构建从节点的最小签名矩阵，并将从节点的最小签名矩阵发送给主节点；主节点对每个从节点的最小签名矩阵进行合并，获得合并后的最小签名矩阵作为第n个数据集的最小签名矩阵；

通过主节点，根据每个数据集的最小签名矩阵，分别计算每个数据集中每两个数据元之间的相似度；

采用主节点和从节点交互的方式，根据每个数据集中每两个数据元之间的相似度和数据元所在的从节点的标号，对每个数据集中的数据源进行去重处理。

2.根据权利要求1所述的MES系统的标识数据库去重方法，其特征在于，所述采用主节点和从节点交互的方式，利用近邻排序算法将所有从节点中的数据分成N份，得到N个数据集，具体包括：

主节点确定排序关键字生成方式，并将排序关键字生成方式发送给每个从节点；

每个所述从节点分别根据所述排序关键字生成方式生成所述从节点中的每个数据元的关键字；

每个所述从节点分别按照从节点中每个数据元的关键字，对所述从节点的数据元进行排序，获得每个从节点的排序表；

每个所述从节点分别将所述从节点的排序表中第一个数据元的关键字发送给主节点；

主节点对每个从节点的排序表中的第一个数据元的关键字进行排序，确定最小关键字，并将除最小关键字所在的从节点之外的所有从节点的排序表中的第一个数据元的关键字发送给最小关键字所在的从节点；

最小关键字所在的从节点确定除最小关键字所在的从节点之外的所有从节点的排序表中的第一个数据的关键字在最小关键字所在的从节点的排序表中的序号，获得除最小关键字所在的从节点之外的所有从节点的调整序号，并分别发送每个除最小关键字所在的从节点之外的从节点；

除最小关键字所在的从节点之外的从节点根据从节点的调整序号调整从节点的排序表；

每个所述从节点分别将从节点的排序表的最后一个数据元的序号发送给主节点；

主节点从所有从节点的排序表的最后一个数据元的序号中选取最大的序号作为末尾标号S，并将所述末尾标号发送给每个所述从节点；

每个所述从节点按照每份跨度P为的方式，将从节点中的排序表中的数据元分成N份，且每个从节点的第n份数据组成第n个数据集，得到N个数据集。

3.根据权利要求1所述的MES系统的标识数据库去重方法，其特征在于，所述通过主节点，根据每个数据集的最小签名矩阵，分别计算每个数据集中每两个数据元之间的相似度，具体包括：

主节点根据每个数据集的最小签名矩阵，分别利用公式计算每个数据集中每两个数据元之间的相似度；

其中，sim表示数据集中两个数据元的相似度，t表示数据集的最小签名矩阵的行数，k表示数据集的最小签名矩阵的两个数据元所在的列中最小哈希值相同的行数。