[发明专利]批量任务处理方法、装置及系统

说明书

本发明实施例公开了一种批量任务处理方法、装置及系统，可用于金融领域或其他技术领域，该方法包括：在批量任务启动时，调用本地CPU的多个任务调度线程，其中，每个所述任务调度线程先获取待处理任务数据，然后将所述待处理任务数据传入本地GPU的全局内存中，进而调用本地GPU中的GPU线程对所述待处理任务数据进行处理，所述GPU线程在完成数据处理之后，将处理结果数据发送到任务调度线程；调用本地CPU将处理结果数据存储到本地业务数据库中。本发明有助于提高批量任务处理的效率。

技术领域

本发明涉及批量数据处理技术领域，具体而言，涉及一种批量任务处理方法、装置及系统。

背景技术

随着“去IOE”进程的推动，目前各大银行开始搭建自己的分布式系统，因此基于当下的技术条件，银行主要从两个方面入手完成批量任务的计算。一是在技术方面使用分布式集群中的计算节点并行处理批量任务，其基本思想是根据客户编号等关键参数将客户的交易数据路由到指定的计算节点中存储。当批量任务启动时，存储在各节点的数据就在其所在节点中完成交易的后续处理。二是通过分批次、分场次的处理方案，从时间上入手，以多次小批量的方式来切割一天的批量处理时间，避开联机交易高峰的同时提高机器的利用率。但随着线上业务的快速发展，交易量的增多，以及上下游批量任务的联动等复杂场景。使得生产上仍然存在小部分批量任务无法在网点营业前顺利结束的情况，给网点营业时的联机交易带来压力和风险的同时，也要求批量程序的开发人员对程序的性能把控的足够到位。

自1999年NVIDIA发布Geforce 256图形加速器并接替CPU完成图像渲染的计算任务，到2006年11月发布了用于其自家图形处理器的并行编程框架CUDA以来，图形处理器GPU的高度并行计算的能力得以广泛的应用和推广。而银行的批量任务中的每一笔交易实际上都是完成一次完全独立的业务响应，因此具有很好的并行性。但银行为保障交易安全而携带了众多的校验参数，这对GPU紧缺的内存资源来说是一个不小的压力，并且业务数据库要求满足ACID特性，因此无法随意的并行操作数据库。现需要一种合理的方式来解决批量任务在异构并行系统中的调度，以最大化的利用计算资源。

发明内容

本发明为了解决上述背景技术中的技术问题，提出了一种批量任务处理方法、装置及系统。

为了实现上述目的，根据本发明的一个方面，提供了一种批量任务处理方法，该方法包括：

在批量任务启动时，调用本地CPU的多个任务调度线程，其中，每个所述任务调度线程先获取待处理任务数据，然后将所述待处理任务数据传入本地GPU的全局内存中，进而调用本地GPU中的GPU线程对所述待处理任务数据进行处理，所述GPU线程在完成数据处理之后，将处理结果数据发送到任务调度线程；

调用本地CPU将处理结果数据存储到本地业务数据库中。

为了实现上述目的，根据本发明的另一方面，提供了一种批量任务处理装置，该装置包括：

任务调度模块，用于在批量任务启动时，调用本地CPU的多个任务调度线程，其中，每个所述任务调度线程先获取待处理任务数据，然后将所述待处理任务数据传入本地GPU的全局内存中，进而调用本地GPU中的GPU线程对所述待处理任务数据进行处理，所述GPU线程在完成数据处理之后，将处理结果数据发送到任务调度线程；

处理结果存储模块，用于调用本地CPU将处理结果数据存储到本地业务数据库中。

为了实现上述目的，根据本发明的另一方面，提供了一种批量任务处理系统，该系统包括：分布式批量任务处理集群；所述分布式批量任务处理集群包括多个处理节点；每个所述处理节点包括：业务数据库、CPU以及GPU；