[发明专利]一种文件比对方法、装置及服务器

说明书

本发明公开了一种文件比对方法、装置及服务器，所述方法包括：获取源文件与目标文件，所述源文件与所述目标文件分别包括多条数据；根据所述数据具有唯一性的第一特征生成与所述数据对应的哈希值，将所述哈希值对预设数值进行取模运算得到模数，并根据所述模数分别对所述源文件和目标文件内的数据进行分组，得到源文件队列组和目标文件队列组；根据相同模数的数据组比对所述源文件队列组和目标文件队列组中的数据，得到比对结果队列组；根据所述比对结果队列组生成比对结果文件。本申请提供的技术方案，能够在有限的计算机资源条件下高效地实现大数量文件的数据比对。

技术领域

本发明涉及数据处理技术领域，特别涉及一种文件比对方法、装置及服务器。

背景技术

云技术是指利用互联网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。随着互联网技术的发展，云技术已经被应用于各种应用场景中，例如云数据存储，云计算等。

由于云计算过程中通常需要对多方资源进行计算，为保证运算结果的准确性，需要保证用于计算的数据的准确性，例如，需要保证用户终端数据与云端数据的一致性。通常，可以通过比对记录数据的文件是否一致来判断两端的数据是否一致。例如，可以直接调用Java提供的比对工具对两个文件进行比对，判断两个文件的数据是否一致。

然而，随着业务的发展，记录数据的文件越来越大，可能达到上百亿的数据量。而当前的计算机资源(包括计算机软硬件资源，单机服务器内存等)都是有限的，无法对大数据量的文件进行一次性比对。因此，目前亟需一种高效的文件比对方法，以在当前有限的计算机资源条件下高效地实现大数据量文件的数据比对。

发明内容

本申请的目的在于提供一种文件比对方法、装置及服务器，能够在有限的计算机资源条件下高效地实现大数据量文件的数据比对。

为实现上述目的，本申请一方面提供一种文件比对方法，包括：

获取源文件与目标文件，所述源文件与所述目标文件分别包括多条数据；

根据所述数据的第一特征生成与所述数据对应的哈希值，将所述哈希值对预设数值进行取模运算得到模数，并根据所述模数分别对所述源文件和目标文件内的数据进行分组，得到源文件队列组和目标文件队列组，所述队列组由多个数据组组成，同一数据组内包括模数相同的至少一条数据；

根据相同模数的数据组比对所述源文件队列组和目标文件队列组中的数据，得到比对结果队列组；

根据所述比对结果队列组生成比对结果文件。

为实现上述目的，本申请另一方面提供一种文件比对装置，包括：文件获取单元、数据分组单元、比对单元和比对结果生成单元；所述比对单元为多个；

所述文件获取单元，用于获取源文件与目标文件；所述源文件与所述目标文件分别包括多条数据；

所述数据分组单元，用于根据所述数据的第一特征生成与所述数据对应的哈希值，将所述哈希值对预设数值进行取模运算得到模数，并根据所述模数分别对所述源文件和目标文件内的数据进行分组，得到源文件队列组和目标文件队列组，所述队列组由多个数据组组成，同一数据组内包括模数相同的至少一条数据；

所述比对单元，用于根据相同模数的数据组比对所述源文件队列组和目标文件队列组中的数据，得到比对结果队列组；

所述比对结果生成单元，用于根据所述比对结果队列组生成比对结果文件。

为实现上述目的，本申请另一方面还提供一种服务器包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述方法实施方案中执行的方法。