[发明专利]调度方法、装置、计算机存储介质及电子设备

说明书

本发明提供了一种调度方法，所述方法包括以下步骤:预先将报告数据的下载保存业务拆解为三个流程：下载文件数据、解析文件数据和文件数据持久化入库；创建第一消息队列、第二消息队列和第三消息队列，其中第一消息队列包含下载文件数据，所述第二消息队列包含解析文件数据，所述第三消息队列包含文件数据持久化入库，且所述第一消息队列、所述第二消息队列和所述第三消息队列并行运行；所述第一消息队列所占用的计算资源、所述第二消息队列所占用的计算资源和所述第三消息队列所占用的计算资源中任意两个数值的比等于与其对应的消息队列同等计算资源下所需花费的时间的反比。

技术领域

本发明涉及数据请求处理技术领域，尤其涉及一种调度方法、装置、计算机存储介质及电子设备。

背景技术

在互联网时代下经常会在某一时间区间出现大量的数据请求，而对于高频请求现有的调度方式是，对具体的业务步骤进行流程拆分，每个流程节点都采用消息队列的形式进行分发和调度。比如报告数据的下载保存业务，流程拆解为：1.下载文件数据，2.解析文件数据，3文件数据持久化入库。

而由于在常规的处理方法中，流程在一个线程内，按顺序去调用下载文件数据、解析文件数据、文件数据持久化入库这三个步骤的函数过程即可。而当遇到频繁请求数据的情况时，想要提高效率就只能整个线程去并行，但是这种方式所提高的效率仍难以满足高频请求，因此需要一种能够应用于频繁请求数据情况下的调度方法、装置、计算机存储介质及电子设备。

发明内容

本发明提供了一种调度方法、装置、计算机存储介质及电子设备，旨在解决背景技术中提及的技术问题。

本发明首先提供了一种调度方法，所述方法包括以下步骤:

预先将报告数据的下载保存业务拆解为三个流程：下载文件数据、解析文件数据和文件数据持久化入库；

创建第一消息队列、第二消息队列和第三消息队列，其中第一消息队列包含下载文件数据，所述第二消息队列包含解析文件数据，所述第三消息队列包含文件数据持久化入库，且所述第一消息队列、所述第二消息队列和所述第三消息队列并行运行。

进一步的，所述第一消息队列所占用的计算资源、所述第二消息队列所占用的计算资源和所述第三消息队列所占用的计算资源中任意两个数值的比等于与其对应的消息队列同等计算资源下所需花费的时间的比，以使一所述第一消息队列、一所述第二消息队列和一所述第三消息队列在单线程的情况下所花费的时间相同。

进一步的，预先将数据请求服务跨区域部署，还包括防网络波动方法，包括：

当检测到某一地区的网络线路出现异常时，将该地区所对应的任务分摊到其他区域进行部署处理。

进一步的，对比不同区域连接到服务器的速度，将其中最快的区域网络的CDN节点作为响应的节点。

进一步的，还包括请求的去重方法，对任一接口请求服务设置分布式锁，所述去重方法包括：

当一种接口数据已经被第一接口请求服务占用的情况下检测到第二接口请求服务的请求时，获取所述第一接口请求服务对应的第一分布式锁和所述第二接口请求对应的第二分布式锁；

如果检测到所述第二分布式锁和所述第一分布式锁存在互斥，则将第二接口请求服务列入等待队列；

如果未检测到两个分布式锁存在互斥，则视所述第二接口请求服务为重复请求并将其去除。

本发明还提供了一种调度装置，包括：

拆解模块，用于预先将报告数据的下载保存业务拆解为三个流程：下载文件数据、解析文件数据和文件数据持久化入库；