[发明专利]一种高效并行数据对齐方法、系统及装置

说明书

本发明实施例提供了一种高效并行数据对齐方法、系统及装置，涉及数据处理技术领域，应用于第一服务器，该方法包括：根据所存储的各个数据的数据标识，将所存储的数据分别分配到预设的不同第一数组内；针对每一第一数组，对该第一数组中包含的数据以及第二服务器内目标第二数组中包含的数据进行数据对齐处理，得到数据对齐子结果，第二服务器中预设有与第一数组一一对应的第二数组，目标第二数组为：与该第一数组相对应的第二数组；合并各个数据对齐子结果，得到第一服务器与第二服务器之间的数据对齐结果。应用本发明实施例提供的方案可以降低单次数据对齐处理过程中消耗的数据传输资源。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种高效并行数据对齐方法、系统及装置。

背景技术

一个对象往往具有多种类的特征数据。如，在对象是用户的情况下，用户的特征数据包括年龄、性别、职业、学历等种类的特征数据。另外，不同机构的服务器中所存储的对象的特征数据的种类不同。例如，通讯公司的服务器中存储有用户的通话数据、短信数据等种类的特征数据，购物网站的服务器中存储有用户购买商品数据、购买时间数据等种类的特征数据。

在某些应用场景下，需要联合多个机构的服务器中存储的对象的特征数据共同进行数据处理，但由于不同机构的服务器中未必均存储有同一对象的特征数据，因此，在进行数据处理之前需要确定不同服务器中均存储有其特征数据的对象，即对不同服务器中存储的特征数据对应的对象进行数据对齐处理。

在现有技术中，多个机构的服务器共同进行数据对齐处理时，可以将服务器分为发送端与接收端，发送端需要将自身存储的数据全部发送至接收端，接收端才能开始进行数据对齐处理，发送端与接收端之间需要一次性传输大量数据，一次性消耗大量的数据传输资源。

发明内容

本发明实施例的目的在于提供一种高效并行数据对齐方法、系统及装置方法，以降低单次数据对齐处理过程中消耗的数据传输资源。具体技术方案如下：

第一方面，本发明实施例提供了一种高效并行数据对齐方法，应用于第一服务器，所述方法包括：

根据所存储的各个数据的数据标识，将所存储的数据分别分配到预设的不同第一数组内；

针对每一第一数组，对该第一数组中包含的数据以及第二服务器内目标第二数组中包含的数据进行数据对齐处理，得到数据对齐子结果，其中，所述第二服务器为：除所述第一服务器外参与数据对齐处理的服务器，所述第二服务器中预设有与所述第一数组一一对应的第二数组，所述目标第二数组为：与该第一数组相对应的第二数组，所述目标第二数组中的数据为：所述第二服务器采用与所述第一服务器相同的方式将自身存储的数据分配到所述目标第二数组中的；

合并各个数据对齐子结果，得到所述第一服务器与所述第二服务器之间的数据对齐结果。

本发明的一个实施例中，所述针对每一第一数组，对该第一数组中包含的数据以及第二服务器内目标第二数组中包含的数据进行数据对齐处理，得到数据对齐子结果，包括：

确定存在数据的第一数组；

向所述第二服务器发送所确定的第一数组的标识，使得所述第二服务器确定自身包含的、与存在数据的第一数组相对应的第二数组；

针对每一存在数据的第一数组，对该第一数据中包含的数据以及第二服务器内目标第二数组内包含的数据进行数据对齐处理，得到数据对齐子结果。

本发明的一个实施例中，所述根据所存储的各个数据的数据标识，将所存储的数据分别分配到预设的不同第一数组内，包括：

分别计算各个数据的哈希值；

按照预设的哈希值与第一数组之间的对应关系，将所存储的数据分别分配到预设的不同第一数组内。