[发明专利]一种金融领域的大数据比对方法及系统

说明书

本发明涉及计算机技术领域，尤其涉及一种金融领域的大数据比对方法及系统，所述方法包括：获取第一数据源数据和第二数据源数据，通过预设的数据卸数规则进行预处理；根据数据类型和内容分块存储，得到预设数量的对等的分块区域，为每对对等的分块区域分配相同的标识；将具有相同标识的第一数据源数据和第二数据源数据的文件块内容切割为字段，并提取关键词；根据预设的映射规则，将具有相同标识的第一数据源数据和第二数据源数据的文件块内的所有关键词进行比对，确定相对应的目标库表单元；根据预设的比对规则，将相对应的目标库表单元的数据内容进行比对；获得比对结果。该方法用于解决系统重构过程中的新老系统海量数据比对所带来的种种问题。

技术领域

本发明涉及计算机技术领域，尤其涉及一种金融领域的大数据比对方法及系统。

背景技术

银行业务由于涉及到账务金钱，要求数据必须准确，对系统运行的安全性和稳定性要求极高。因此银行业务的软件系统具有系统复杂度高、功能升级容错率低的特点。

近年来，随着对于用户体验、新业务发展、自主研发核心技术等需求的提升，银行业开展了大规模的业务流程改造和软件系统重构升级的工作，其中，针对系统重构、软硬件替代等大型改造工程，改造前后的基础数据比对是保障系统稳定运行、产品质量的必要环节。实际运行中，银行业务的数据具有数据量大、新老数据格式不统一、映射规则复杂等特点，在实施周期受限的情况下，人工进行大量数据的比对工作效率很低，逐条比对也容易出纰漏。尤其针对系统重构的新老系统海量数据比对的场景，面对数据可能存在的数据源不同、格式差异、比对映射规则复杂等问题，迫切需要一种通用的流程解决办法。

发明内容

为解决现有技术的不足，本发明提出一种金融领域的大数据比对方法及系统，用于系统重构过程中的新老系统海量数据比对的场景，以解决数据源不同、格式差异、比对映射规则复杂带来的数据比对困难的问题。

为实现以上目的，本发明所采用的技术方案包括：

本发明第一个方面，公开了一种金融领域的大数据比对方法，包括以下步骤：

获取第一数据源数据和第二数据源数据，通过预设的数据卸数规则分别进行预处理；

根据数据类型和内容分别对第一数据源数据和第二数据源数据分块存储，生成预设数量的第一数据源数据的文件块和第二数据源数据的文件块，且第一数据源数据的文件块和第二数据源数据的文件块相互匹配对等，为每对对等的第一数据源数据的文件块和第二数据源数据的文件块分配相同的标识；

将具有相同标识的第一数据源数据和第二数据源数据的文件块内容分别切割为字段，并提取关键词；

根据预设的映射规则，将具有相同标识的第一数据源数据和第二数据源数据的文件块内的所有关键词进行比对，确定相对应的目标库表单元；

根据预设的比对规则，将相对应的目标库表单元的数据内容进行比对，获得第一数据源数据和第二数据源数据的比对结果并进行保存；

通过可视化窗口展示比对结果。

进一步地，通过预设的数据卸数规则分别进行预处理包括消除数据的格式差异及精度差异。

进一步地，所述预设的映射规则，包括：构建映射关联词库，设置映射关联词将第一数据源和第二数据源中相对应的关键词进行关联。

进一步地，所述根据预设的比对规则，将相对应的目标库表单元的数据内容进行比对，包括：将相对应的目标库表单元的字段进行一一比对。

进一步地，所述关键词包括客户编号、客户身份信息、数据金额类型及币种符号中的一种或几种。

进一步地，所述比对规则配置文件设置为xml格式。

进一步地，所述通过可视化窗口展示比对结果包括识别差异字段并进行标记，在浏览器界面进行清晰展示。