[发明专利]数据批量处理方法和装置

权利要求书

1.一种数据批量处理方法，其特征在于，包括：

业务前置系统接收多个分行前置系统发送的第一批量请求数据；

所述业务前置系统对所述第一批量请求数据进行切片处理，得到多个第一数据切片；

所述业务前置系统将所述多个第一数据切片发送至流处理系统；

所述流处理系统对接收到所述多个第一数据切片进行分布式流处理，生成第一处理结果文件。

2.一种数据批量处理方法，其特征在于，所述方法应用于业务前置系统，包括：

接收多个分行前置系统发送的第一批量请求数据；

对所述第一批量请求数据进行切片处理，得到多个第一数据切片；

将所述多个第一数据切片发送至流处理系统，其中，所述流处理系统对所述多个第一数据切片进行分布式流处理，生成第一处理结果文件。

3.根据权利要求2所述的方法，其特征在于，在将所述多个第一数据切片发送至流处理系统之后，还包括：

接收所述流处理系统发送的第一处理结果文件；

获取所述多个分行前置系统中各分行前置系统的结果文件配置信息；

根据所述第一处理结果文件和所述各分行前置系统的结果文件配置信息，生成所述各分行前置系统对应的第一结果文件；

将所述各分行前置系统对应的第一结果文件发送至对应的分行前置系统。

4.根据权利要求2所述的方法，其特征在于，对所述第一批量请求数据进行切片处理，得到多个第一数据切片，包括：

读取所述第一批量请求数据至数据库；

创建定时处理任务，并根据所述定时处理任务从所述数据库中读取所述第一批量请求数据；

对所述第一批量请求数据进行切片处理，得到多个第一数据切片。

5.根据权利要求3所述的方法，其特征在于，在将所述各分行前置系统对应的第一结果文件发送至对应的分行前置系统之后，还包括：

接收所述各分行前置系统发送的第二批量请求数据，其中，所述第二批量请求数据是根据所述各分行前置系统对应的第一结果文件生成的；

对所述第二批量请求数据进行切片处理，得到多个第二数据切片；

将所述多个第二数据切片发送至流处理系统，其中，所述流处理系统对所述多个第二数据切片进行分布式流处理，生成第二处理结果文件。

6.根据权利要求2所述的方法，其特征在于，所述第一批量请求数据中包括多个第一请求数据，所述第一请求数据中包括客户编号；

对所述第一批量请求数据进行切片处理，得到多个第一数据切片，包括：

根据所述客户编号对所述第一批量请求数据进行切片处理。

7.一种数据批量处理方法，其特征在于，所述方法应用于流处理系统，包括：

接收业务前置系统发送的多个第一数据切片，其中，所述多个第一数据切片是所述业务前置系统对从多个分行前置系统接收到的第一批量请求数据进行切片后得到的；

对所述多个第一数据切片进行分布式流处理，生成第一处理结果文件；

将所述第一处理结果文件发送至所述业务前置系统。

8.根据权利要求7所述的方法，其特征在于，对所述多个第一数据切片进行分布式流处理，生成第一处理结果文件，包括：

基于Apache Kafka系统和Apache Storm系统对所述多个第一数据切片进行分布式流处理，生成第一处理结果文件。

9.一种数据批量处理装置，其特征在于，所述装置位于业务前置系统，包括：

接收模块，用于接收多个分行前置系统发送的第一批量请求数据；

切片模块，用于对所述第一批量请求数据进行切片处理，得到多个第一数据切片；

发送模块，用于将所述多个第一数据切片发送至流处理系统，其中，所述流处理系统对所述多个第一数据切片进行分布式流处理，生成第一处理结果文件。