[发明专利]文件处理方法及系统

说明书

本申请公开了文件处理方法及系统，该方法包括：商户终端获取电子商务平台上产生的多条待处理交易数据，并将待处理交易数据划分为多个待处理数据包，其中，每个待处理数据包中包含的待处理交易数据对应的交易类型和交易对象均相同；调度系统监听到商户终端中产生待处理数据包时，基于多台服务器各自的当前处理能力以及待处理数据包，为多台服务器中的至少一台目标服务器建立处理任务，并向目标服务器发送对应的处理任务，处理任务包括至少一个待处理数据包的数据包标识；目标服务器从商户终端中拉取处理任务对应的待处理数据包，并进行交易任务处理。本申请处理场景要求低，适宜广泛使用，且多个目标服务器同时处理，提高了任务处理的时效性。

技术领域

本发明文件处理技术领域，特别涉及一种文件处理方法及系统。

背景技术

在很多业务应用场景中，都需要对大文件进行上传及处理，因此大文件处理是这些业务应用场景中一个比较重要的环节，大文件处理的时效性直接影响应用场景的使用。现在大文件处理很多都是使用单线程每行读取数据，对于数据量相对小些的文件性能尚可，随着业务量增长，文件中的数据越来越多，处理时间也会随之增加，单线程读取大文件已经无法满足业务时效。

对文件进行分片处理也是大文件处理常用的方法，该方法将单个大文件分割成多个小的分片文件，后端再将这些分片文件合并起来还原成原来的大文件，再对合并后的大文件进行处理，该方法需要大量逻辑代码实现，且每次需检验分片的密码散列函数值，而且还要考虑到断点续传的问题；因此这种分片处理方法虽然能优化处理方式，但处理场景较为复杂严谨，对适用的处理场景要求高，不适宜广泛使用。

发明内容

有鉴于此，本发明提供了一种文件处理方法及系统，主要目的在于现有的大文件处理方法对处理场景要求高且时效性差的问题。

根据本申请的一个方面，提供了一种文件处理方法，该方法包括：

商户终端获取电子商务平台上产生的多条待处理交易数据，并将所述待处理交易数据划分为多个待处理数据包，其中，每个所述待处理数据包中包含的待处理交易数据对应的交易类型和交易对象均相同；

调度系统监听到所述商户终端中产生所述待处理数据包时，基于多台服务器各自的当前处理能力以及所述待处理数据包，为多台所述服务器中的至少一台目标服务器建立处理任务，并向所述目标服务器发送对应的所述处理任务，其中，所述处理任务包括至少一个待处理数据包的数据包标识；

所述目标服务器从所述商户终端中拉取所述处理任务对应的待处理数据包，并进行交易任务处理。

可选地，所述商户终端获取电子商务平台上产生的多条待处理交易数据，并将所述待处理交易数据划分为多个待处理数据包，包括：

商户终端获取电子商务平台上产生的多条待处理交易文件，将每条待处理交易文件进行解析，获得多条所述待处理交易数据；

根据预设的交易类型将所述多条待处理交易数据进行分组，获得每种交易类型对应的数据组；

针对每个所述数据组，确定所述数据组中每条待处理交易数据的交易对象，分别将每个所述交易对象对应的待处理交易数据划分为一个数据子组，并基于每个所述数据子组，建立所述待处理数据包。

可选地，所述基于每个所述数据子组，建立所述待处理数据包，包括：

针对每个所述数据子组，基于预设字节数，将所述数据子组中的待处理交易数据划分为至少一个所述待处理数据包，其中，所述待处理数据包中的待处理交易数据的总字节数小于或等于所述预设字节数。

可选地，所述基于预设字节数，将所述数据子组中的待处理交易数据划分为至少一个所述待处理数据包，包括：