[发明专利]任务处理方法及装置

说明书

本申请实施例提供了一种任务处理方法及装置，其中，该方法包括：依次接收多个业务方的推理服务请求，并将每个推理服务请求生成请求任务；生成每个推理服务请求的目标标识并发送至与每个推理服务请求对应的业务方；根据多个推理服务请求的接收顺序，将与每个推理服务请求对应的请求任务存入请求队列中；根据请求队列中多个请求任务的存入顺序，依次获取多个请求任务的推理结果并发送至业务方，以使得业务方获取与目标标识对应的推理服务请求的推理结果。通过本申请，解决了相关技术中任务处理耗时长，对外响应慢，导致客户端一直等待结果的问题，进而达到了高效、快速、高成功率地获取并返回业务方推理服务的推理结果的效果。

技术领域

本申请实施例涉及计算机领域，具体而言，涉及一种任务处理方法、任务处理装置、计算机可读存储介质及电子设备。

背景技术

目前随着互联网、大数据的发展，数据日益增多，而数据处理技术并未随着数据的增多而改善，因此处理的内容日益复杂，处理时间(耗时)也越来越长。

针对不同的大数据业务，处理时长不同，但业务方对数据处理结果的需求反而越来越迫切，希望能够在尽快处理数据，且数据处理完成的第一时间进行结果的获取。然而目前的技术，数据处理将会有很长时间的耗时，业务方一直等待结果会占用自己系统资源，导致系统都在耗费线程进行等待，无法有足够的线程进行其他业务的处理，严重时会导致系统崩溃。因此使用合理的方式对服务结果获取能够对业务系统的可用性和健壮性有很大的影响。

此外，数据处理端(或者称为服务端)对请求处理方式也决定了结果的响应速度。目前很多大数据的数据处理方式，都是占用很大CPU或GPU资源，一旦占用，其他进程将无法使用，导致处理进程因无可分配资源而失败，从而造成大量请求的失败。因此合理分配、安排数据处理端对请求进行处理也是一个亟需解决的问题。

发明内容

本申请实施例提供了一种任务处理方法、任务处理装置、计算机可读存储介质及电子设备，以至少解决相关技术中任务处理耗时长，对外响应慢，导致客户端一直等待结果的问题。

根据本申请的一个实施例，提供了一种任务处理方法，包括：依次接收多个业务方的推理服务请求，并将每个推理服务请求生成请求任务；生成每个推理服务请求的目标标识并发送至与每个推理服务请求对应的业务方；根据多个推理服务请求的接收顺序，将与每个推理服务请求对应的请求任务存入请求队列中；根据请求队列中多个请求任务的存入顺序，依次获取多个请求任务的推理结果并发送至业务方，以使得业务方获取与目标标识对应的推理服务请求的推理结果。

在一个示例性实施例中，根据请求队列中多个请求任务的存入顺序，依次获取多个请求任务的推理结果并发送至业务方，包括：根据多个请求任务的存入顺序，依次从请求队列中提取多个请求任务；获取每个业务方根据目标标识发送的结果获取请求；根据与目标业务方对应的结果获取请求和请求任务，向目标业务方发送与目标业务方的推理服务请求对应的推理结果。

在一个示例性实施例中，根据多个请求任务的存入顺序，依次从请求队列中提取多个请求任务，包括：根据多个请求任务的存入顺序，按照预设时间间隔依次从请求队列中提取多个请求任务。

在一个示例性实施例中，获取每个业务方根据目标标识发送的结果获取请求，包括：向每个业务方发送预设轮询机制，以使得每个业务方根据预设轮询机制发送结果获取请求，其中，预设轮询机制用于指示多个业务方发送结果获取请求的顺序。

在一个示例性实施例中，根据与目标业务方对应的结果获取请求和请求任务，向目标业务方发送与目标业务方的推理服务请求的推理结果，包括：确定与发送目标结果获取请求的目标业务方对应的目标请求任务；获取与目标请求任务对应的目标推理模型；判断与目标推理模型对应的服务器列表中是否具有空闲的推理服务器；在判断结果指示为是的情况下，调用空闲的推理服务器，以使得空闲的推理服务器生成与目标请求任务对应的推理结果；获取与目标请求任务对应的推理结果并发送至目标业务方。