[发明专利]用于云端大数据运算架构的服务器及其运算资源最佳化方法

说明书

一种用于云端大数据运算架构的服务器及其云端运算资源最佳化方法。服务器运行一动态扩增系统，以执行下列操作：接收一任务信息；基于任务信息所记载的一待执行任务，执行一轮廓程序以产生一轮廓文件；执行一分类程序，以判断待执行任务的一任务类别；执行一预测程序，以得到待执行任务的相对于多个运算节点数量的多个预测执行时间、运算节点类型及系统参数；执行一最佳化程序，以决定待执行任务的实际运算节点数量运算；以及，传送一最佳化输出信息至一管理服务器，以使管理服务器分配至少一数据运算系统来执行待执行任务的一程序码文件。

【技术领域】

本发明是关于一种用于云端大数据运算架构的服务器及其云端运算资源最佳化方法。具体而言，本发明的服务器运行一动态扩增系统以执行一轮廓程序、一分类程序、一预测程序以及一最佳化程序来决定待执行任务的实际运算节点数量、运算节点类型及系统参数。

【背景技术】

随着科技的发展，许多云端服务提供商(例如：Amazon、Google、VMware、Microsoft等)皆提供云端运算服务，并根据使用者的需求配置虚拟主机供使用者进行数据的处理。云端运算服务可采用Hadoop运算框架、Spark运算框架或其他多种云端运算框架，来提供处理大数据运算的平台。在这种公有云服务的架构下，云端服务提供商大多具有足够的硬件资源，以提供看似无限的运算资源，故当使用者欲执行的程序复杂度及欲处理的数据量增加时，使用者可直接自行调整或通过设定所需的虚拟主机的数量及其系统参数(即硬件与软件的配置)来满足自身的需求。

然而，虚拟主机的数量及其系统参数的调整或设定皆是靠使用者个人的经验所决定的，并非经由有效的分析欲执行的程序复杂度及欲处理的数据量所决定的，特别是目前的云端服务提供商未提供此分析服务。此外，若进一步考量运算资源有限的情况(即虚拟主机的数量及其系统参数的设定有所限制的情况)，则使用者自行所调整或设定的虚拟主机的数量及其系统参数将会造成有限资源分配不公，并且使得有限资源无法达到最佳化的利用，而使得运算系统整体效益低落。

有鉴于此，本领域亟需一种云端运算资源最佳化机制，在运算资源有限的情况下，可自动配置运算资源以及进行虚拟主机的扩增或删减，而使得有限资源达到最佳化的利用。

【发明内容】

本发明的目的在于提供一种云端运算资源最佳化机制，其是在云端大数据运算架构中运行一动态扩增系统，以对一任务信息所记载的一待执行任务，进行轮廓分析。接着，动态扩增系统基于轮廓分析的结果，对待执行任务进行分类，并基于分类结果，指定该待执行任务的运算节点类型及系统参数，以及预测待执行任务相对于多个运算节点数量的多个预测执行时间。随后，动态扩增系统根据待执行任务的一使用者定义属性与这些预测执行时间、至少一其他任务每一者的一其他使用者定义属性及多个其他预测执行时间以及云端大数据运算架构的最大运算资源，决定待执行任务的一实际运算节点数量，并将待执行任务的实际运算节点数量、运算节点类型及系统参数提供至云端大数据运算架构的管理服务器，以使其得以分配适当的运算资源给待执行任务。

据此，本发明云端运算资源最佳化机制可套用于采用各种云端运算框架(例如：Hadoop运算框架及Spark运算框架)的云端大数据运算架构中，以在运算资源有限的情况下，自动配置运算资源以及进行虚拟主机的扩增或删减，而使得有限资源达到最佳化的利用，进而避免因使用者自行调整或设定的虚拟主机的数量及其系统参数所造成的有限资源分配不公或运算系统整体效益低落。