[发明专利]一种基于Spark和Hadoop的数据对账方法及系统

摘要

本发明涉及数据对账技术领域，尤其涉及一种基于Spark和Hadoop的数据对账方法及系统，所述数据对账系统与业务系统通信连接；所述数据对账系统包括相互通信连接的对账前端、数据中台、对账后台和调度服务器；所述方法包括：S1、录入相关的初始数据表和对账模板到对账前端中，对相关的初始数据表和对账模板进行校验，将校验无误的初始数据表和对账模板中转至数据中台的Hadoop平台；S2、抽取业务系统中相关的对账数据表到数据中台的Hive数据库；S3、对账后台将初始数据表和对账数据表进行数据对账，根据对账模板生成带有对账结果的对账文件；S4、将对账文件存储至数据中台，调度服务器向对账前端通知下载信息。本发明能快速进行对账校验，且得到准确的校验结果。