[发明专利]一种在线图像识别服务的扩缩容方法及相关装置

说明书

本申请公开了一种在线图像识别服务的扩缩容方法及相关装置，该方法通过对在线图像识别服务的待处理图像的数量进行监控，以根据检测到的待处理图像的数量确定执行预测任务所需的设备资源量。基于预设转换关系确定该待处理图像的数量在容器管理系统中对应的预设监控指标，并根据预设监控指标控制容器管理系统对在线图像识别服务持有的容器进行扩缩容操作，以使扩缩容后的容器所对应的持有资源量满足设备资源量。最后根据持有资源量执行预测任务。上述流程将待处理图像的数量作为执行扩缩容操作的评判指标以降低扩缩容误操作的发生，并通过容器封装的方式实现从实体设备卡中划分出用于执行预测任务的虚拟设备卡，提高了服务器的资源利用率。

技术领域

本发明涉及数据处理技术领域，特别涉及一种在线图像识别服务的扩缩容方法及相关装置。

背景技术

在线图像识别服务是借助深度学习在线服务框架和中央处理器(CentralProcessing Unit，CPU)的算力资源，在线提供稳定的高吞吐量预测服务。该服务用于根据预置的识别模型对客户端上传的待处理图像进行识别预测。为合理分配各预测任务对资源的占用，相关技术中多通过自动扩缩容操作来动态分配用于执行预测任务的资源量。

传统的扩缩容方式是根据在线图像识别服务的CPU资源使用情况作为评判指标，通过对执行预测任务所需的计算资源进行扩缩容操作，以使在线图像识别服务能够动态的适应流量高峰以及低谷时期的不同资源需求。这种直接以CPU资源的占用作为判断指标的方式多存在扩缩容误操作的发生，例如因与在线图像识别服务无关的其他系统占用CPU资源较多时，会导致CPU占用率升高。当在线图像识别服务监测到CPU占用率升高时会通过执行扩缩容操作以获取更多的计算资源。但由于该CPU资源利用率升高的原因并非由在线图像识别服务造成，本应无需对在线图像识别服务执行扩缩容操作。这就导致了扩缩容误操作的发生，降低了服务器的资源利用率。

发明内容

本发明提供一种在线图像识别服务的扩缩容方法及相关装置，用于将待处理图像的数量作为执行扩缩容操作的评判指标以降低扩缩容误操作的发生，并通过从实体设备卡中划分出用于执行预测任务的虚拟设备卡，提高服务器的资源利用率。

第一方面，本发明实施例提供一种在线图像识别服务的扩缩容方法，所述方法包括：

对在线图像识别服务的待处理图像的数量进行监测，根据监测到的所述待处理图像的数量确定执行预测任务所需的设备资源量；

基于预设转换关系确定所述待处理图像的数量在容器管理系统中对应的预设监控指标；其中，所述容器管理系统用于对所述在线图像识别服务持有的容器进行管理；每一容器内封装有图形处理器资源，所述容器为在线图像识别服务持有资源量的分配单位，所述容器的逻辑封装用于拦截对统一计算设备架构库的应用程序编程接口的调用；

根据所述预设监控指标控制所述容器管理系统对所述在线图像识别服务持有的容器进行扩缩容操作，以使扩缩容后的容器所对应的持有资源量满足所述设备资源量；根据所述持有资源量执行所述预测任务；

其中，执行扩容操作时，从资源集群的实体设备卡中划分出与目标资源量相同的资源，对所述资源进行容器封装以构建虚拟设备卡；所述目标资源量是根据所述设备资源量和所述持有资源量确定的；

执行缩容操作时，对所述在线图像识别服务当前持有的容器执行预设删除操作，以使所述在线图像识别服务的响应时间处于预设时间范围内。