[发明专利]一种任务处理方法、装置、设备及介质

说明书

本申请公开了一种任务处理方法，当服务端启动时，在启动的过程中，服务端确定自身所包括的处理引擎中可以进行预热的处理引擎，即待预热的处理引擎。在确定出待预热的处理引擎后，为该待预热的处理引擎分配资源，以使得待预热的处理引擎接收到任务处理请求时，利用所分配的资源处理该任务处理请求所指示的任务。即，在处理引擎接收到任务处理请求之前，提前为处理引擎分配所需要的资源，以便其在接收到任务处理请求时，可以及时执行任务，无需等待资源分配，提高任务执行效率。

技术领域

本申请涉及计算机技术领域，具体涉及一种任务处理方法、装置、设备及介质。

背景技术

结构化查询语言计算引擎(Spark structured query language，Spark SQL)是Spark用来处理结构化数据的一个模块，作为分布式SQL查询引擎使用。利用Spark SQL引擎进行数据挖掘和分析是目前最为场景的应用场景。

在实际工作时，Spark SQL引擎在接收待处理任务时，需要向另一种资源协调器(Yet Another Resource Negotiator，Yarn)提交请求，以请求Yarn为该任务分配所需的资源，进而Spark SQL引擎利用所分配的资源执行任务。然而，随着集群规模的不断增大，Yarn在进行资源分配时所消耗的时间越来越长，导致Spark SQL引擎执行任务的时间较长，影响任务执行效率。

发明内容

有鉴于此，本申请提供一种任务处理方法、装置、设备及介质，以实现预先为处理引擎分配资源，进而当有任务需要处理时，可以及时响应，提高任务执行效率。

为实现上述目的，本申请提供的技术方案如下：

在本申请第一方面，提供了一种任务处理方法，所述方法应用于服务端，包括：

响应于所述服务端启动，确定待预热的处理引擎；

为所述待预热的处理引擎分配资源，以使得所述待预热的处理引擎接收到任务处理请求时，利用分配的资源处理所述任务处理请求所指示的任务。

在本申请第二方面，提供了一种任务处理装置，所述装置应用于服务端，包括：

确定单元，用于响应于所述服务端启动，确定待预热的处理引擎；

分配单元，用于为所述待预热的处理引擎分配资源，以使得所述待预热的处理引擎接收到任务处理请求时，利用分配的资源处理所述任务处理请求所指示的任务。

在本申请第三方面，提供了一种电子设备，所述设备包括：处理器和存储器；

所述存储器，用于存储指令或计算机程序；

所述处理器，用于执行所述存储器中的所述指令或计算机程序，以使得所述电子设备执行第一方面所述的任务处理方法。

在本申请第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在设备上运行时，使得所述设备执行第一方面所述的任务处理方法。

在本申请第五方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现第一方面所述的任务处理方法。

由此可见，本申请具有如下有益效果：

在本申请中，当服务端启动时，在启动的过程中，服务端确定自身所包括的处理引擎中可以进行预热的处理引擎，即待预热的处理引擎。在确定出待预热的处理引擎后，为该待预热的处理引擎分配资源，以使得待预热的处理引擎接收到任务处理请求时，利用所分配的资源处理该任务处理请求所指示的任务。即，在处理引擎接收到任务处理请求之前，提前为处理引擎分配所需要的资源，以便其在接收到任务处理请求时，可以及时执行任务，无需等待资源分配，提高任务执行效率。

附图说明