[发明专利]一种不同文件格式的数据比对系统及方法

摘要

本发明提供一种不同文件格式的数据比对系统及方法，其中系统包括用于获取A平台和B平台中业务数据模板的数据获取模块、用于从对应的存储空间中提取需要对比的业务数据的数据提取模块、用于将提取的业务数据放入缓存或放入数据库中进行比较的数据比较模块和用于将差异数据根据设定的格式生成对比文件的数据生成模块；本发明数据比对系统不用具体关心业务数据，数据比对与业务本身分离，只需要各个业务负责人按照文件对应格式进行配置即可进行数据处理，处理之后，差异数据按照规定格式入库或生成文件，方便后期分析和处理，与之前的流程相比，极大程度上简化了处理数据的步骤，降低了运维成本，提高了工作效率。

主权项

1.一种不同文件格式的数据比对系统，其特征在于，包括数据获取模块、数据提取模块、数据比较模块和数据生成模块，/n所述数据获取模块，用于启动进程，并根据业务id或利用循环读取方式获取A平台和B平台中业务数据模板，其中，A平台的业务数据模板和B平台的业务数据模板的格式不同；/n所述数据提取模块，用于根据业务数据模板判断A平台和B平台的数据格式，再分别根据判断出的数据格式从对应的存储空间中提取需要对比的业务数据；/n所述数据比较模块，用于根据预设的数据量阈值将提取的业务数据放入缓存或放入数据库中进行比较，从而获得差异数据；/n所述数据生成模块，用于将所述差异数据根据设定的格式生成对比文件并保存；/n所述数据获取模块包括检测单元、第一获取单元和第二获取单元，/n所述检测单元，用于检测是否配置业务id，如果配置，则发送第一获取指令至第一获取单元，否则发送第二获取指令至第二获取单元；/n所述第一获取单元，用于接收到第一获取指令后，根据业务id在预设的查询配置表中匹配对应该业务id的模板信息，并从A平台或B平台中获取该模板信息对应的业务数据模板；/n所述第二获取单元，用于接收到第二获取指令后，利用循环读取方式在预设的查询配置表中逐一读取模板信息，并从A平台或B平台中获取各个模板信息的业务数据模板；/n所述数据比较模块包括判断单元、缓存比较单元和数据库比较单元，/n所述判断单元，用于根据预设的数据量阈值判断提取的业务数据的大小是否达到数据量阈值，如果未达到，则发送第一比较指令至缓存比较单元，否则发送第二比较指令至数据库比较单元；/n所述缓存比较单元，用于根据第一比较指令将业务数据以key-value的数据形式进行改写，再将改写的业务数据载入应用缓存中进行比较，从而获得差异数据；/n所述数据库比较单元，用于根据第二比较指令将业务数据以key-value的数据形式进行改写，再将改写的业务数据载入数据库临时表中进行比较，从而获得差异数据。/n