[发明专利]对账系统中的大文件分布式处理方法及装置

说明书

本申请公开了对账系统中的大文件分布式处理方法及装置，适用于包括文件服务器和N个节点的集群中，每个节点对应一个应用服务器，所述文件服务器为所述N个节点中的至少一个提供对账文件。所述方法对账文件处理采用集群部署，通过算法将文件进行逻辑划分，分成若干块，将逻辑分片后的文件内容分配到集群中相应的节点，各节点分别处理各自的任务，有效地规避传统方案中硬件不足、处理效率慢等弊端，让大文件的处理在硬件配置较低的虚拟机、或者云服务器上也能快速处理，便于应用程序的微服务化，另外通过分布式改造后，彻底解决了单点不稳定的潜在风险。

技术领域

本发明涉及涉及信息技术领域，尤其涉及一种对账系统中的大文件分布式处理方法及装置。

背景技术

第三方支付行业的渠道对账系统，主要用于比对第三方支付公司与两联数据(银联、网联)，两联交易数据通过文件提供，交易量大的情况下相应的文件也比较大，当文件大小大于应用服务器可处理内存的一定比例时，解析文件会碰到瓶颈。

目前，第三方支付中的渠道对账系统，多使用单节点处理，处理大文件一般有三种方式，一是通过增加单点内存，二是通过拆分文件后依次处理，三是逐条解析后放入内存数据库进行处理。这三种方式都是单节点处理，单节点处理对账文件有两个共同的弊端，其一是单节点系统稳定性不够，单节点宕机后无其他节点处理业务，二是单节点处理效率慢，单节点只能串行处理。第一种增加内存的方式还有另外一个弊端，是应用过于依赖硬件配置，第三种处理方式的另外一个弊端是依赖于内存数据库等中间件。

因此，如何对对账系统中的大文件进行分布式处理，以有效规避传统方案中硬件不足、处理效率慢等弊端，是本领域技术人员亟待解决的问题。

发明内容

本发明的目的在于提供一种对账系统中的大文件分布式处理方法及装置，以解决上述技术背景中提出的问题。

为实现上述目的，本发明采用以下技术方案：

本申请第一个方面提供了一种对账系统中的大文件分布式处理方法，所述方法适用于包括文件服务器和N个节点的集群中，每个节点对应一个应用服务器，所述文件服务器为所述N个节点中的至少一个提供对账文件，所述N为大于等于1的正整数，所述方法包括：

将集群中各应用服务器所在的节点按照预设的编号规则进行编号；

所述文件服务器将至少一个对账文件按预设的分片策略进行逻辑分片，将逻辑分片后的文件按序分配至相应节点的缓存中；

每个节点从所述文件服务器中下载完整的对账文件，并将对账文件存储在本地，各节点根据当前节点的编号确定读取的相应的文件片，通过字节流的方式读取文件片，获取相应的文件片数据，直至完整的对账文件被节点全部读取成功；其中，读取的每一个文件片数据存储于一块连续内存中，包括一个起始位置的首字符、一个结束位置的结束符和位于首字符和结束符之间的至少一个换行符，所述换行符用于触发数据换行操作；

获取所述文件片数据，对所述文件片数据进行数据处理，包括：

A，计算所述文件片数据对应的尾换行符的索引位置，所述尾换行符为一个文件片数据中包含的最后一个换行符；判断该文件片数据的结束符是否为尾换行符，若是，则剔除尾换行符后面的字节流数据；若否，则再次读取对账文件，从该尾换行符的索引位置往后读，读到下一个换行符后结束，再将此次重新读取的字节流数据合并到先前分片读取的字节流数据中；

B，计算所述文件片数据对应的首换行符的索引位置，所述首换行符为一个文件片数据中包含的第一个换行符；判断该文件片数据的首字符是否为首换行符，若否，则直接剔除首换行符之前的字节流数据。