[发明专利]一种面向复杂虚拟化环境的云平台资源调度方法

说明书

技术领域

本发明涉及一种面向复杂虚拟化环境的云平台资源调度方法，属于软件技术领域。

背景技术

虚拟化已成为构建新型信息化系统的主流计算范型，呈现出异构化发展趋势，当前主要包括虚拟机与容器两类。前者模拟OS环境 ，核心思想是执行指令重映射技术，开销相对较大，是当前虚拟化主要实现机制，例如亚马逊AWS、微软Azure、阿里巴巴Alicloud。后者复用OS，模拟沙箱环境，开销较小，近年来得到迅速发展，比如羊年春晚抢红包，京东“618商品秒杀”均采用该技术。相关研究认为，虚拟机可支持多种OS，能有效满足Web应用多样化运行环境支撑需求。容器本质为沙箱进程，运行在其中的分布式系统性能几乎和直接运行在物理机上一致。因此，两种虚拟化分别最优适用于不同的信息化系统场景。

“数据采集器+实时处理系统+离线统计系统”模式是适应IT技术发展主流应用模式之一。数据采集器负责数据的监测、处理和转发；实时处理系统在满足指定目标和时效性约束条件下对数据进行分析处理，并将结果持久化；离线统计模块以持久化数据作为输入，采用常用统计算法进行数据分析。其中，舆情分析、高能物理实验是满足上述应用模式的两类典型场景。当前，数据采集器、实时处理系统、离线统计系统通常部署在虚拟机上，比如Amazon EC2。这种方法尽管管理简单，但牺牲了实时处理系统、离线统计系统性能，难以满足相关研究工作关于信息化系统和异构虚拟化部署的最佳实践建议。实际上，“数据采集器+实时处理系统+离线统计系统”应用场景主要具有两大特点：（1）异构虚拟化协同：相关工作分别采用理论分析和离线测试的方法，得出数据采集部署在虚拟机较优，实时处理系统、离线统计系统部署在容器较优的结论。因此，该场景具有异构虚拟化协同的特点。（2）信息化系统资源需求错峰：数据采集和实时处理系统通常日间活跃，但离线统计通常夜间工作，具有典型的资源需求错峰特点，可采用分时复用思想进一步提高资源利用率。

资源调度是解决“数据采集器+实时处理系统+离线统计系统”应用场景的有效手段，它是指根据一定的资源使用规则，在不同资源使用者之间进行资源调整的过程。已有研究工作分别针对虚拟机与容器进行调度优化，优化目标包括公平性、本地性、时效性、能耗等，但其有效性是建立物理服务器与虚拟化技术一一映射的前提下。上述方法会因物理资服务器难以分时复用给异构虚拟化而导致资源利用率不高。BICHLER提出了一种基于线性规划规约的启发式算法来减少虚拟机放置过程中的计算资源损耗（Speitkamp B, Bichler M. A mathematical programming approach for server consolidation problems in virtualized data centers [J]. Services Computing, IEEE Transactions on, 2010, 3(4): 266-78.）。GENEZ提出了一种两阶段的整数线性规划的启发式算法来调度云计算中用户执行的两层SLA调度问题（Genez T A, Bittencourt L F, Madeira E R. Workflow scheduling for SaaS/PaaS cloud providers considering two SLA levels; proceedings of the Network Operations and Management Symposium (NOMS), 2012 IEEE, F, 2012 [C]. IEEE.）。GUO提出了一种最小化的Buchberger算法来解决SLA敏感的随机资源IP调度问题（Li Q, Guo Y. Optimization of resource scheduling in cloud computing; proceedings of the 12th International Symposium on Symbolic and Numeric Algorithms for Scientific Computing, F, 2010 [C]. IEEE.）。XU提出了一种启发式算法以解决虚拟机的放置问题，它执行一种类深度优先搜索方法来枚举出所有虚拟机可能放置方案的子集，然后使用基于LP的虚拟链路映射优化算法来确定如何将用户需求映射到最小数据中心网络上（Xu J, Tang J, Kwiat K, et al. Enhancing survivability in virtualized data centers: A service-aware approach [J]. Selected Areas in Communications, IEEE Journal on, 2013, 31(12): 2610-9.）。