[发明专利]数据对比方法、装置和系统

摘要

本发明提出了一种数据对比方法、装置和系统。数据对比方法包括：转换步骤，利用分布式计算架构对获取的第一数据集和第二数据集中各自包含的多个数据项进行转换，使得转换后的数据项具有统一的数据结构，其中所述统一的数据结构包括多个字段；对比步骤，利用所述分布式计算架构根据数据对比配置文件对所述转换后的第一数据集和第二数据集中的所述多个数据项进行对比。客户端可以利用配置文件按需对数据对比作出简要或是详尽的配置，由此利用分布式平台实现大数据的快速高效对比。

主权项

1.一种数据对比方法，包括：转换步骤，利用分布式计算架构对获取的第一数据集和第二数据集中各自包含的多个数据项进行转换，所述分布式计算架构包括多个计算端，每个计算端对获取的第一数据集和/或第二数据集中各自包含的多个数据项中的部分数据项进行转换，使得转换后的数据项具有统一的数据结构，其中所述统一的数据结构包括多个字段；对比步骤，利用所述分布式计算架构根据数据对比配置文件对所述转换后的第一数据集和第二数据集中的所述多个数据项进行对比，其中，所述数据对比配置文件定义了用于区分各数据项的关键字段，并且，所述对比步骤包括：所述分布式计算架构按照所述关键字段对所述第一数据集和所述第二数据集中多个数据项的排序来对关键字段相同或相应的数据项进行比较，其中，按照所述关键字段对所述第一数据集和所述第二数据集中多个数据项的排序是由所述分布式计算架构进入对比步骤时自行做出的，使得关键字段值相同或相应的数据项在所述对比步骤中被连续取出，并且每个计算端所对比的是所述第一数据集和所述第二数据集中关键字段相同或相应的部分数据项，其中，每个计算端在所述转换步骤和所述对比步骤中处理相同或不同的数据项。