[发明专利]基于弹性批处理的推理引擎系统、方法及电子设备

说明书

本发明提供一种基于弹性批处理的推理引擎系统、方法及电子设备，所述基于弹性批处理的推理引擎方法包括：获取用户输入的待推理请求数据；获取最大并行批处理数量和待推理请求的数量；根据所述最大并行批处理数量和所述待推理请求的数量将所述待处理推理请求数据按需组织成为合适批处理大小的批处理数据，并唤醒深度神经网络推理引擎模块中与所述批处理数据的大小对应的子引擎，由所述子引擎处理所述待处理推理请求。本发明在无需增加硬件设备包括图形处理器等的前提下，极大化引擎系统的响应延迟速度和吞吐量。

技术领域

本发明涉及处理器技术领域，特别是涉及GPU技术领域，具体为一种基于弹性批处理的推理引擎系统、方法及电子设备。

背景技术

随着诸如语音识别，机器翻译，个人私人助手等计算密集型应用的大量部署，主流的私用数据中心或公用云平台已经开始大量使用像GPU等协处理器来应对传统CPU计算能力不足的问题。GPU最开始是为图形图像计算而设计的专用处理器，而由于其具有传统CPU所无法匹敌的并行性，越来越多的非图形图像应用迁移到GPU平台以满足其迅速增长的计算需求。但研究表明，非图形图像应用往往不具有足够的的并行度以充分利用GPU的硬件资源，从而导致硬件资源的浪费。另一方面，由于GPU架构及工艺的发展，越来越多的流多处理器(Streaming Multiprocessor，SM)被集成到一块GPU之中，使得资源浪费的问题更加突出。

GPU已经被广泛应用于提供基于深度学习的在线服务中，如何提高GPU的性能，包括更低的响应延迟，更高的系统吞吐量等成为本领域技术人员亟待解决的技术问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于弹性批处理的推理引擎系统、方法及电子设备，用于提高GPU处理器引擎的性能。

为实现上述目的及其他相关目的，本发明的实施例提供一种基于弹性批处理的推理引擎方法，所述基于弹性批处理的推理引擎方法包括：获取用户输入的待推理请求数据；获取最大并行批处理数量和待推理请求的数量；根据所述最大并行批处理数量和所述待推理请求的数量将所述待处理推理请求数据按需组织成为合适批处理大小的批处理数据，并唤醒深度神经网络推理引擎模块中与所述批处理数据的大小对应的子引擎，由所述子引擎处理所述待处理推理请求。

于本申请的一实施例中，所述基于弹性批处理的推理引擎方法还包括：构建深度神经网络推理模型；根据深度神经网络推理模型配置所述深度神经网络推理引擎模块中的子引擎；其中，所述深度神经网络推理引擎模块包括多个用于处理不同批处理数据大小的子引擎，各所述子引擎共享所述深度神经网络推理模型的参数。

于本申请的一实施例中，所述基于弹性批处理的推理引擎方法还包括：将用户输入的待推理请求数据存入由连续显存地址空间组成的显存缓冲池中；其中，所述连续显存地址空间被切割成同等大小的显存块，每一个显存块用以存储一个待推理请求数据。

于本申请的一实施例中，根据处理推理请求的最长响应时间获取最大并行批处理数量。

于本申请的一实施例中，所述将所述待处理推理请求数据按需组织成为合适批处理大小的批处理数据，并唤醒深度神经网络推理引擎模块中与所述批处理数据的大小对应的子引擎包括：检测深度神经网络推理引擎模块的引擎队列中是否存在闲置子引擎，若有，则从所述显存缓冲池中选取可调度的待推理请求的数量；根据所述闲置子引擎、所述最大并行批处理数量和所述待推理请求的数量将所述待处理推理请求数据按需组织成为合适批处理大小的批处理数据；从所述闲置子引擎中调度与所述批处理数据的大小对应的子引擎。

于本申请的一实施例中，若单个子引擎一次未处理完所述待推理请求，则从闲置子引擎中继续获取与剩余待推理请求对应的子引擎，继续处理所述剩余待推理请求。