[发明专利]一种分布式海量数据排重方法及系统

摘要

本发明提供的分布式海量数据排重方法中，预先将数据库中所有数据的HASH值分为若干个HASH值集合并存储到至少两个节点服务器内存中，记录每个所述HASH值集合及其存放的节点服务器地址之间的映射关系；当接收到请求判断当前数据数据是否已存在的判断请求时，先计算当前数据的HASH值，根据预先记录的HASH值集合和节点服务器地址之间的映射关系确定当前数据的HASH值及其应该所处的HASH值集合所对应的节点服务器地址；随后比对判断当前数据的FASH值应该所处的HASH值集合所对应的节点服务器中是否有当前数据的HASH值，若是，则返回“当前数据已存在”的执行结果并结束流程；否则返回“当前数据不存在”的执行结果，并更新当前数据的FASH值应该所处的HASH值集合。

主权项

一种分布式海量数据排重方法，其特征在于，预先将数据库中所有数据的哈希HASH值分为若干个HASH值集合并存储到至少两个节点服务器内存中，记录每个所述HASH值集合和存放该HASH值集合的节点服务器地址之间的映射关系；所述分布式海量数据排重方法包括以下步骤：步骤一：接收用户输入的当前数据并发出“判断当前数据是否已存在于数据库中”的数据判断请求；步骤二：接受所述数据判断请求并计算所述当前数据的HASH值；步骤三：根据所述预先记录的所述HASH值集合和节点服务器地址之间的映射关系，确定所述当前数据的HASH值及其应该所处的HASH值集合所对应的节点服务器地址；步骤四：比对判断所述当前数据的FASH值应该所处的HASH值集合所对应的节点服务器中是否有当前数据的HASH值，若是，则滤去所述当前数据，同时返回“当前数据已存在”的数据判断请求执行结果，结束流程；否则，继续执行步骤五；步骤五：返回“当前数据不存在”的数据判断请求执行结果，并请求更新所述当前数据的FASH值应该所处的HASH值集合；步骤六：接受所述更新请求，将所述当前数据的HASH值插入至所述当前数据的FASH值应该所处的HASH值集合中，同时将所述当前数据的HASH值插入至所述数据库中，结束流程。