[发明专利]配置化平台调度方法、系统及存储介质

说明书

本发明涉及大数据处理技术，揭露了一种配置化平台调度方法，方法包括对配置化平台的调度任务进行注解，并将调度任务和相应的注解信息关联存储于数据库sqlite中，并按照注解信息设定调度任务之间的依赖关系；对带有注解的调度任务进行微服务扫描并进行注册；对调度任务进行分配分片，确定服务器与分配分片后的调度任务间的关联关系；根据所述关联关系以及调度任务之间的依赖关系，确定调度任务的执行服务器及执行方式；根据调度任务的执行服务器及执行方式执行调度任务。本发明还涉及区块链技术，数据存储于区块链中，本发明使得配置化平台的调度系统将在性能、稳定性、易用性、扩展性上有很大的优势。

技术领域

本发明涉及大数据处理，尤其涉及一种配置化平台调度方法、系统及存储介质。

背景技术

调度系统是大数据平台当中的一个核心基础设施，目前调度系统采用的调度方式是单纯依赖时间调度的方式，如crontab。然而，数据处理流程具有很长的依赖链条，导致存在任务间依赖不清晰和调度出错难以查找的问题。

现有技术中通过采用elastic-job方式，任务间依赖不清晰的问题得到了改善，并解决了出错难以查找的问题；但是仍然存在的弊端如下：

1)任务之间的依赖支持不足；

2)图形化管理界面功能不全。

所以，亟需一种具有丰富调度功能的配置化平台调度方法。

发明内容

本发明提供一种配置化平台调度方法、系统及计算机可读存储介质，其主要解决了配置化平台的调度任务之间的依赖支持不足的问题。

为实现上述目的，本发明提供一种配置化平台调度方法，应用于电子装置，方法包括：对配置化平台的调度任务进行注解，并将所述调度任务和相应的注解信息关联存储于轻量级数据库sqlite中，并根据注解信息设定调度任务之间的依赖关系；对所述带有注解的调度任务进行微服务扫描，并按照所述调度任务的注解所属的类型在所述配置化平台的注册中心进行注册；根据所述注册中心存在的服务器的个数，对所述调度任务依据elastic-job框架进行分配分片，确定服务器与分配分片后的调度任务间的关联关系；根据所述关联关系以及调度任务之间的依赖关系，确定调度任务的执行服务器及执行方式；根据所述调度任务的执行服务器及执行方式执行所述调度任务。

进一步，优选的，所述调度任务的注解包括任务节点分类数据、任务状态属性数据和任务版本属性数据；其中，任务状态属性分为运行中，待运行，暂停，完成或异常；任务节点分类包括父节点任务和子节点任务。

进一步，优选的，将所述调度任务和相应的注解信息关联存储于轻量级数据库sqlite中的步骤，还包括：利用配置化平台的数据库监听器在原有的数据埋点上增加多个状态的数据埋点，并将所有的数据埋点同步到数据库sqlite。。

进一步，优选的，通过下述方法将所述调度任务和相应的注解信息关联存储于轻量级数据库sqlite中，对所述调度任务按照其任务动态添加对应的日志文件，根据日志文件将所述调度任务按照error、warn、info、debug四种状态进行分级存储；其中所述日志文件按照时间和大小两个维度进行翻滚。

进一步，优选的，所述调度任务的数据存储于区块链中；将每个轻量级数据库sqlite存储的调度任务数据同步到配置化平台的数据库中，以实现调度任务的任务状态查询。