[发明专利]电商平台作业调度方法及系统

说明书

本发明涉及通信技术领域，尤其涉及一种电商平台作业调度方法及系统。所述电商平台作业调度方法，包括如下步骤：提供一待执行作业；获取执行所述待执行作业所需的资源空间评估值；设置多个资源组，多个所述资源组与多个作业类型一一对应，每一所述资源组用于执行相应作业类型的作业；选择与所述待执行作业匹配的资源组作为目标资源组；判断所述目标资源组的剩余资源空间是否大于所述资源空间评估值，若是，则将所述待执行作业分配至所述目标资源组，并进行资源调度，以开始执行所述待执行作业。本发明提高了作业执行的效率，在提高电商平台资源利用率的同时，也确保了电商平台持续、稳定的运行。

技术领域

本发明涉及通信技术领域，尤其涉及一种电商平台作业调度方法及系统。

背景技术

随着电子商务行业的迅速发展，电商平台产生的数据种类以及数据量都在急剧增加，为了确保电商平台的稳定运行，往往需要设置不同的计算平台来支撑相应的业务数据计算量，并配置相应的技术人员人工处理数据的ETL(Extract-Transform-Load，抽取-转换-加载)。然而，由于作业种类繁多，作业量呈指数级增加，作业间的依赖关系错综复杂，因此，无法对作用运行的健康状态进行实时监控，也无法对作业运行状态进行实时调整。

而且，作业执行链条冗长，对于作业中出现的异常数据的定位，则需要采用人工的方式逐一对相关作业数据进行排查，这也就导致了异常数据定位的人力成本、时间成本极高，异常情况处理效率极低。

现有的作业间依赖关系的配置，是根据Crontab指令进行周期性调度。作业间的依赖是根据经验值人工设定，通过设置缓冲时间来实现实际依赖。这种依赖配置关系，导致计算资源利用率较低，同时增加了整体作业的执行时间，导致日结数据的失效极低，无法满足管理报表、数据系统的使用要求。

同时，各类型作业的执行健康状态可控性较低，作业并发量的阈值设定全凭借经验，易出现因作业并发量大而导致相应数据计算平台停机的情况发生。此时，则需要人工终止相应作业，重新设置调度时间点和并发量，同时调整后续所有作业的调度时间，导致作业执行效率整体降低。

因此，如何提高作业执行效率，改善资源利用率，确保电商平台持续、稳定的运行，是目前亟待解决的技术问题。

发明内容

本发明提供一种电商平台作业调度方法及系统，用以解决现有的作业执行效率低的问题，提高电商平台的资源利用率，确保电商平台持续、稳定的运行。

为了解决上述问题，本发明提供了一种电商平台作业调度方法，包括如下步骤：

提供一待执行作业；

获取执行所述待执行作业所需的资源空间评估值；

设置多个资源组，多个所述资源组与多个作业类型一一对应，每一所述资源组用于执行相应作业类型的作业；

选择与所述待执行作业匹配的资源组作为目标资源组；

判断所述目标资源组的剩余资源空间是否大于所述资源空间评估值，若是，则将所述待执行作业分配至所述目标资源组，并进行资源调度，以开始执行所述待执行作业。

优选的，还包括如下步骤：

判断所述目标资源组的剩余资源空间是否大于所述资源空间评估值，若否，则将所述待执行作业按照预先设定的优先级顺序加入到所述目标资源组的作业等待队列中。

优选的，选择与所述待执行作业匹配的资源组作为目标资源组之前还包括如下步骤：

判断所述待执行作业是否满足触发条件，若是，则选择与所述待执行作业匹配的资源组作为目标资源组。

优选的，所述触发条件为待执行作业的全部上游作业执行成功、预设数量的上游作业执行成功、全部上游作业执行失败中的一种；所述上游作业为与所述待执行作业具有先后依赖关系的作业。