[发明专利]一种任务处理方法、装置、电子设备及存储介质

说明书

本发明涉及一种任务处理方法、装置、电子设备及存储介质，所述方法包括：确定待处理任务，基于所述任务处理任务中携带的关键字，确定处理所述待处理任务所需的第一资源文件；判断所述第一资源文件是否存在于缓存服务器，其中，全局文件系统获取本地第二资源文件的缓存要素，根据所述缓存要素将所述第二资源文件存储至所述缓存服务器；若所述第一资源文件未存在于所述缓存服务器，从所述全局文件系统中加载所述第一资源文件；根据所述第一资源文件处理所述待处理任务。如此基于待处理任务中携带的关键字，确定处理待处理任务所需的第一资源文件，可以避免频繁的资源文件指定过程，节省了时间，提高了任务处理效率。

技术领域

本发明涉及任务处理技术领域，尤其涉及一种任务处理方法、装置、电子设备及存储介质。

背景技术

在基于特定的分布式任务处理的过程中，由于任务是分散在各个物理服务器上并行处理的，会涉及到在集群环境中处理每个任务时需要获取资源文件的问题。因此需要将资源文件上传到全局文件系统(比如分布式文件系统)，通过全局文件系统将任务处理所需的资源文件对所有的物理服务器可见，在各个物理服务器处理任务前将所需的资源文件加载到本地，随后各个物理服务器根据资源文件处理任务。

相关技术中，在提交每个任务前均由任务的开发者指定该任务的所需资源文件，在任务提价过程中将该所需资源文件上传到全局文件系统，物理服务器在执行该任务之前，从全局文件系统获取为该任务指定的所需资源文件，从而根据所需资源文件对该任务进行处理。由于在提交每个任务前均由任务的开发者指定该任务的所需资源文件，如此任务处理需要经过频繁的资源文件指定过程，需要消耗大量时间，降低任务处理效率。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本发明提供了一种任务处理方法、装置、电子设备以及存储介质。

第一方面，本发明提供了一种任务处理方法，所述方法包括：

确定待处理任务，基于所述任务处理任务中携带的关键字，确定处理所述待处理任务所需的第一资源文件；

判断所述第一资源文件是否存在于缓存服务器，其中，全局文件系统获取本地第二资源文件的缓存要素，根据所述缓存要素将所述第二资源文件存储至所述缓存服务器，所述缓存要素包括：加载次数、文件大小、共享性和/或预设权重；

若所述第一资源文件未存在于所述缓存服务器，从所述全局文件系统中加载所述第一资源文件；

根据所述第一资源文件处理所述待处理任务。

在一个可选的实施方式中，所述获取本地第二资源文件的缓存要素，根据所述缓存要素将所述第二资源文件存储至所述缓存服务器，包括：

获取本地第二资源文件的所述加载次数，根据所述加载次数确定所述第二资源文件的第一缓存参数；

获取本地第二资源文件的所述文件大小，根据所述文件大小确定所述第二资源文件的第二缓存参数；

获取本地第二资源文件的所述共享性，根据所述共享性确定所述第二资源文件的第三缓存参数；

根据所述第一缓存参数、所述第二缓存参数、所述第三缓存参数以及所述预设权重，确定所述第二资源文件的缓存倾向度；

根据所述缓存倾向度将所述第二资源文件存储至所述缓存服务器。

在一个可选的实施方式中，所述获取本地第二资源文件的所述加载次数，根据所述加载次数确定所述第二资源文件的第一缓存参数，包括：

获取本地第二资源文件的所述加载次数，确定所述加载次数对应的预设次数区间；

确定所述预设次数区间对应的文件热点程度为所述第二资源文件的第一缓存参数。