[发明专利]一种基于数据计算与分析的调度方法、设备、存储介质

说明书

本发明公开了一种基于数据计算与分析的调度方法，包括以下步骤：步骤S1、收集资源池中的不同资源的状态及负载信息，保存至数据库中；步骤S2、对数据库内不同资源的状态及负载信息进行整合，将不同资源的状态及负载信息按预先设置的调度策略和调度优先级对数据进行资源协同调度；步骤S3、大数据计算平台按照资源协同调度的结果进行资源的动态分配，分析、输出数据指标。本发明对大数据的分析过程按预设的调度策略及优先级进行动态调度处理，降低资源消耗，在保持业务需求情况下降低集群配置，实现服务器资源的合理应用和高效的数据分析，对企业压缩成本具有积极意义。

技术领域

本发明涉及大数据计算处理技术领域，尤其涉及一种基于数据计算与分析的调度方法、设备、存储介质。

背景技术

随着大数据技术的发展，计算引擎不断优化和更新，在技术选型上提高计算效率已经接近极限。而随着数据量的增加，大数据平台计算资源承载的数据计算与分析压力越来越大。计算资源包括CPU、内存、磁盘吞吐量、带宽等硬件；在大数据领域，资源消耗是非常巨大的。一个集群有成百上千的服务器，每台服务器都需要较高的配置成本，另外还有电费、机房、运维等成本。

计算资源具有高度异动性，用户对计算资源的请求是动态的，计算资源的调度需要动态进行。因此，如何充分利用机器，在不影响业务需求的情况下合理分配业务数据计算，使机器不闲置，提高资源最大化和高效是急需攻克的难题。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种基于数据计算与分析的调度方法，对大数据的分析过程按预设的调度策略及优先级进行动态调度处理，实现服务器资源的合理应用和高效数据分析。

本发明的目的之二在于提供一种设备，执行上述一种基于数据计算与分析的调度方法，对大数据的分析过程按预设的调度策略及优先级进行动态调度处理，实现服务器资源的合理应用和高效数据分析。

本发明的目的之三在于提供一种存储介质，执行上述基于数据计算与分析的调度方法，对大数据的分析过程按预设的调度策略及优先级进行动态调度处理，实现服务器资源的合理应用和高效数据分析。

本发明的目的之一采用以下技术方案实现：

一种基于数据计算与分析的调度方法包括以下步骤：

步骤S1、收集资源池中的不同资源的状态及负载信息，保存至数据库中；

步骤S2、对数据库内不同资源的状态及负载信息进行整合，将不同资源的状态及负载信息按预先设置的调度策略和调度优先级对数据进行资源协同调度；

步骤S3、大数据计算平台按照资源协同调度的结果进行资源的动态分配，分析、输出数据指标。

进一步地，所述调度策略为将所述不同资源的状态及负载信息按时间与空间进行划分；按时间划分为按照资源的业务指标划分数据的周期，按空间划分为将不同数据分为不同流数据，根据数据的关键字分区汇总。

进一步地，所述调度优先级为所述时间的优先级高于所述空间的优先级；所述数据的周期为按照月、天、小时、分钟划分。

进一步地，所述根据数据的关键字分区汇总为判断所述数据是否需要全表分析，若所述数据无需全表分析，则将所述数据存储于分区计算单元，进行分区计算；若所述数据需要全表计算，则将数据存储于全表计算单元。

进一步地，若所述数据的周期为月或天，则将所述数据安排于大数据计算平台的闲时计算。

进一步地，所述闲时为每天的0点～6点。

进一步地，所述不同资源包括CPU、内存、网络、虚拟资源；所述资源的状态及负载信息包括资源的总容量、使用量及利用率。