[发明专利]支持多种计算框架的单元化按需计算方法及相关装置

说明书

本发明公开了一种支持多种计算框架的单元化按需计算方法及相关装置，该方法包括：获取工作的任务规划；所述任务规划包括任务的个数、类型、执行顺序、执行时间和周期；根据所述任务规划的内容解析出各个任务的配置信息；根据所述配置信息调用相应的任务，并为被调用的任务配置特定的计算资源和对应的计算框架，执行被调用的任务。采用该方法，用户可以根据实际需求将工作划分为一系列按照流程编排的任务；根据任务规划可以解析出各个任务的配置信息，然后根据配置信息调用相应的任务执行，为该任务分配与其对应的特定的资源和计算框架，从而实现计算资源的按需分配，提高资源利用率。

技术领域

本发明涉及云计算领域，特别是涉及一种支持多种计算框架的单元化按需计算方法及相关装置。

背景技术

近年来，随着云计算、移动互联网、社交网络以及物联网等技术的发明和应用，互联网得到前所未有的发展，开始从新兴的信息产业向传统产业蔓延，在金融、零售、交通出行等行业被逐个颠覆的同时，越来越多的行业逐渐意识到与其被动应对不如主动求变，“互联网+”每一个传统行业将为我国的产业调整与升级提供新的机遇并为经济发展寻求新的增长点。与此同时，大数据随之而来。越来越多的企业通过实施互联网化开始拥有大数据，包括累积拥有企业内部专有大数据及采集获取互联网公共大数据。在未来，大数据将不再是政府或者互联网企业的专利，而是每一个企业都有可能成为大数据企业，包括拥有采集、存储和处理大数据的能力，以及利用大数据实现变现的能力。

我国目前有各种类型企业5000多万家，其中95％都是中小企业，对于这些企业而言发展自己的大数据能力似乎可望而不可即，然而能力不一定要为其所有，但一定要能够为其所用，利用云计算带来的软件即服务(Software as a Service,SaaS)这一创新模式，能够将大数据相关的能力进行服务化、服务按需使用和按使用付费，为中小企业也拥有大数据能力奠定了基础。

然而现有的云计算服务并不能很好地对计算资源进行分配，同一工作内部的不同任务会出现对计算资源的抢占，从而对其他任务、其他工作甚至其他用户带来恶劣影响。

因此，如何提供一种合理分配计算资源的云计算服务的技术方案，在满足云计算用户对计算资源的需求的同时实现计算资源的利用最大化，是本领域技术人员目前需要解决的技术问题。

发明内容

本发明的目的是提供一种支持多种计算框架的单元化按需计算方法及相关装置，为每个任务分配独立合理的计算资源，实现计算资源的利用最大化。

为解决上述技术问题，本发明提供了如下技术方案：

一种支持多种计算框架的单元化按需计算方法，包括：

获取工作的任务规划；所述任务规划包括任务的个数、类型、执行顺序、执行时间和周期；

根据所述任务规划的内容解析出各个任务的配置信息；

根据所述配置信息调用相应的任务，并为被调用的任务配置特定的计算资源和对应的计算框架，执行被调用的任务。

优选地，根据所述任务规划的内容解析出各个任务的配置信息，包括：

根据所述任务规划的内容解析出各个任务的任务信息、资源需求、数据存储位置、执行计划和执行结果信息。

优选地，根据所述配置信息调用相应的任务，并为被调用的任务配置特定的计算资源和对应的计算框架，执行被调用的任务，包括：

根据所述执行计划调用相应的任务；

为被调用的任务选择对应的计算框架；

根据所述资源需求，从计算资源池为被调用的任务配置相应的所述计算资源参与计算；

根据被调用的任务的类型，将计算产生的中间结果保存到相应的位置；