[发明专利]深度学习任务处理系统和方法

说明书

本申请属于深度学习技术领域，尤其涉及一种深度学习任务处理系统和方法。所述深度学习任务处理系统包括业务逻辑服务器集群和算法服务器集群；所述业务逻辑服务器集群包括一个以上的CPU服务器，CPU服务器用于对深度学习任务中的业务逻辑进行处理；所述算法服务器集群包括一个以上的GPU服务器，GPU服务器用于对深度学习任务中的算法进行处理。通过本申请，采用算法与业务逻辑完全分离的架构，GPU服务器只进行纯粹的算法处理，而将其它的业务逻辑处理均由成本相对较低的CPU服务器进行处理，从而使得GPU服务器资源的利用更加合理，节省了大量的GPU服务器资源，有效降低了处理深度学习任务的成本。

技术领域

本申请属于深度学习技术领域，尤其涉及一种深度学习任务处理系统和方法。

背景技术

随着深度学习技术的成熟与计算机运算能力的提升，随着深度学习技术在工程界的应用越来越广泛，如何在最少的硬件资源上实现算法预测的高并发、高可用、高吞吐、低延迟、以及易扩展，显得尤为重要。目前深度学习对硬件的要求十分苛刻，需要使用大量昂贵的GPU服务器，这也是各个厂商深度学习成本居高不下的原因之一。而且为了实现高并发等指标，厂商只能花费大量成本进行GPU服务器基础设施建设。

发明内容

有鉴于此，本申请实施例提供了一种深度学习任务处理系统和方法，以解决现有的深度学习任务处理过程中需要使用大量昂贵的GPU服务器，导致成本高昂的问题。

本申请实施例的第一方面提供了一种深度学习任务处理系统，包括业务逻辑服务器集群和算法服务器集群；

所述业务逻辑服务器集群包括一个以上的CPU服务器，CPU服务器用于对深度学习任务中的业务逻辑进行处理；

所述算法服务器集群包括一个以上的GPU服务器，GPU服务器用于对深度学习任务中的算法进行处理。

进一步地，所述业务逻辑服务器集群还包括业务逻辑任务分发服务器，所述业务逻辑任务分发服务器用于接收深度学习任务请求，并将接收到的深度学习任务请求分发至各个CPU服务器；

CPU服务器还用于在对深度学习任务中的业务逻辑进行处理的过程中，向所述算法服务器集群发送算法任务请求；

所述算法服务器集群还包括算法任务分发服务器，所述算法任务分发服务器用于接收CPU服务器发送的算法任务请求，并将接收到的算法任务请求分发至各个GPU服务器。

进一步地，所述深度学习任务处理系统还可以包括：

算法结果存储数据库，用于对GPU服务器的算法处理结果进行存储；

业务逻辑结果存储数据库，用于对CPU服务器的业务逻辑处理结果进行存储；

GPU服务器还用于在对深度学习任务中的算法进行处理之后，将算法处理结果存储至所述算法结果存储数据库；

CPU服务器还用于从所述算法结果存储数据库中获取算法处理结果，并在完成深度学习任务之后，将深度学习任务的预测结果存储至所述业务逻辑结果存储数据库。

进一步地，所述深度学习任务处理系统还可以包括：

Web服务器，用于接收终端设备发送的深度学习任务请求，并将接收到的深度学习任务请求发送至所述业务逻辑任务分发服务器；监测所述业务逻辑结果存储数据库的状态，当所述业务逻辑结果存储数据库为完成状态时，从所述业务逻辑结果存储数据库获取预测结果，并将预测结果反馈至终端设备。

本申请实施例的第二方面提供了一种深度学习任务处理方法，可以包括：

接收待处理的深度学习任务请求；

将接收到的深度学习任务请求分发至各个业务逻辑处理线程，各个业务逻辑处理线程均部署在预设的CPU服务器集群中，所述CPU服务器集群包括一个以上的CPU服务器；