[发明专利]数据处理方法、装置、设备及存储介质

说明书

本公开提供一种数据处理方法、装置、设备及存储介质，涉及人工智能技术领域，尤其涉及云原生、容器技术、资源调度等技术领域。具体实现方案为：部署于k8s集群中的管理服务器获取用户的数据处理请求；响应于该数据处理请求用于请求在目标时长内基于目标模型处理完待处理数据，在k8s集群中已部署有目标模型的pod不满足数据处理请求的情况下，管理服务器根据目标时长以及待处理数据的大小，确定数据处理请求对应的目标每秒查询率qps；进一步的，管理服务器基于目标qps，从多个pod的空闲pod中确定多个目标pod，并基于多个目标pod处理待处理数据，得到处理结果；其中，多个目标pod对应的目标模型的总qps大于或者等于目标qps。

技术领域

本公开涉及人工智能技术领域，尤其涉及云原生、容器技术、资源调度等技术领域，具体涉及数据处理方法、装置、设备及存储介质。

背景技术

目前，服务提供方可以通过智能洞察平台为客户提供数据分析、数据分类、预测等数据处理服务。

具体的，智能洞察平台中部署有多个应用容器引擎Docker容器，每个Docker容器部署有基于人工智能或者机器学习对数据进行处理的模型，当用户发起数据处理服务的需求时，用户通过用户设备向Docker容器发送待处理数据，Docker容器中的模型就会对待处理数据进行相应的处理，得到处理结果，以实现为用户提供数据处理服务。

发明内容

本公开提供了一种数据处理方法、装置、设备及存储介质，用于提供数据处理服务。

根据本公开的一方面，提供了一种数据处理方法，应用于数据处理系统中的管理服务器；数据处理系统基于kubernetes集群构建，数据处理系统还包括多个最小调度单元pod；方法包括：

获取用户的数据处理请求；数据处理请求用于请求在目标时长内基于目标模型处理完待处理数据；

在已部署有目标模型的pod不满足数据处理请求的情况下，根据目标时长以及待处理数据的大小，确定数据处理请求对应的目标每秒查询率qps；

基于目标qps，从多个pod的空闲pod中确定多个目标pod；多个目标pod用于部署目标模型，多个目标pod对应的目标模型的总qps大于或者等于目标qps；

基于多个目标pod处理待处理数据，得到处理结果。

根据本公开的另一方面，提供了一种数据处理装置，应用于数据处理系统中的管理服务器；数据处理系统基于kubernetes集群构建，数据处理系统还包括多个最小调度单元pod；装置包括获取单元、确定单元以及处理单元；

获取单元，用于获取用户的数据处理请求；数据处理请求用于请求在目标时长内基于目标模型处理完待处理数据；

确定单元，用于在已部署有目标模型的pod不满足数据处理请求的情况下，根据目标时长以及待处理数据的大小，确定数据处理请求对应的目标每秒查询率qps；

确定单元，还用于基于目标qps，从多个pod的空闲pod中确定多个目标pod；多个目标pod用于部署目标模型，多个目标pod对应的目标模型的总qps大于或者等于目标qps；

处理单元，用于基于多个目标pod处理待处理数据，得到处理结果。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及与该至少一个处理器通信连接的存储器；

其中，该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开所提供的数据处理方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行本公开所提供的数据处理方法。