[发明专利]任务处理方法及装置

权利要求书

1.一种任务处理方法，其特征在于，包括：

依次接收多个业务方的推理服务请求，并将每个所述推理服务请求生成请求任务；

生成每个所述推理服务请求的目标标识并发送至与每个所述推理服务请求对应的所述业务方；

根据多个所述推理服务请求的接收顺序，将与每个所述推理服务请求对应的所述请求任务存入请求队列中；

根据所述请求队列中多个请求任务的存入顺序，依次获取所述多个请求任务的推理结果并发送至所述业务方，以使得所述业务方获取与所述目标标识对应的推理服务请求的推理结果。

2.根据权利要求1所述的方法，其特征在于，所述根据所述请求队列中多个请求任务的存入顺序，依次获取所述多个请求任务的推理结果并发送至所述业务方，包括：

根据所述多个请求任务的存入顺序，依次从所述请求队列中提取所述多个请求任务；

获取每个所述业务方根据所述目标标识发送的结果获取请求；

根据与目标业务方对应的结果获取请求和请求任务，向所述目标业务方发送与所述目标业务方的推理服务请求对应的推理结果。

3.根据权利要求2所述的方法，其特征在于，所述根据所述多个请求任务的存入顺序，依次从所述请求队列中提取所述多个请求任务，包括：

根据所述多个请求任务的存入顺序，按照预设时间间隔依次从所述请求队列中提取所述多个请求任务。

4.根据权利要求3所述的方法，其特征在于，所述获取每个所述业务方根据所述目标标识发送的结果获取请求，包括：

向每个所述业务方发送预设轮询机制，以使得每个所述业务方根据所述预设轮询机制发送所述结果获取请求，其中，所述预设轮询机制用于指示所述多个业务方发送所述结果获取请求的顺序。

5.根据权利要求3所述的方法，其特征在于，所述根据与目标业务方对应的结果获取请求和请求任务，向所述目标业务方发送与所述目标业务方的推理服务请求的推理结果，包括：

确定与发送目标结果获取请求的目标业务方对应的目标请求任务；

获取与所述目标请求任务对应的目标推理模型；

判断与所述目标推理模型对应的服务器列表中是否具有空闲的推理服务器；

在判断结果指示为是的情况下，调用所述空闲的推理服务器，以使得所述空闲的推理服务器生成与所述目标请求任务对应的推理结果；

获取与所述目标请求任务对应的推理结果并发送至所述目标业务方。

6.根据权利要求5所述的方法，其特征在于，所述判断与所述目标推理模型对应的服务器列表中是否具有空闲的推理服务器，包括：

从配置中心获取与所述目标推理模型对应的目标服务器列表，其中，所述配置中心包括与多个推理模型对应的多个服务器列表，每个所述服务器列表与至少一个所述推理模型对应；

通过状态机判断所述目标服务器列表中是否具有所述空闲的推理服务器。

7.根据权利要求6所述的方法，其特征在于，所述根据与目标业务方对应的结果获取请求和请求任务，向所述目标业务方发送与所述目标业务方的推理服务请求的推理结果，还包括：

在所述判断结果指示为否的情况下，重复执行配置步骤，直到满足预设条件时停止执行所述配置步骤，所述配置步骤包括：在预设时间段后判断所述配置中心中是否具有所述空闲的推理服务器，其中，所述预设条件包括以下至少之一：所述判断结果指示为是，所述配置步骤重复执行的次数大于预设次数，以及重复执行所述配置步骤的时长大于预设时长。

8.根据权利要求5所述的方法，其特征在于，所述根据与目标业务方对应的结果获取请求和请求任务，向所述目标业务方发送与所述目标业务方的推理服务请求的推理结果，还包括：

在获取与所述目标请求任务对应的推理结果之后，将所述推理结果存储至目标数据库中，以使得所述目标业务方从所述目标数据库中获取所述目标结果获取请求的推理结果。