[发明专利]基于公有云的应用程序协同配置系统、方法及设备

说明书

本发明提供一种基于公有云的应用程序协同配置系统、方法及设备，所述基于公有云的应用程序协同配置系统包括：硬盘IO带宽分配模块，用于周期性地监视每个虚拟机的IO带宽使用情况，并基于虚拟机的IO带宽使用情况分配调整虚拟机的带宽；IO机制参数调优模块，用于基于虚拟机的带宽调整虚拟机的客户操作系统中的IO机制参数。本发明帮助各个IO密集型应用程序取得更高的性能，以此实现整体吞吐提高，本发明建立了迭代式软硬件协同配置运作框架，设计了无需入侵用户应用程序的参数调优方法，在无需升级硬件设备与不增加云服务提供商额外负担的提前下，提高了多租户公有云的整体吞吐。

技术领域

本发明涉及云计算技术领域，特别是涉及云计算资源分配技术领域。

背景技术

由于数据呈现爆炸性增长，人类对计算的需求大大增加并且希望随时随地获取，这直接推动了云计算的蓬勃发展，云计算也成为数字经济时代的新型信息基础设施。公有云(public clouds)是云计算中的一种重要商业模式，用户通常向云计算服务提供商租用既定硬件规格且预装操作系统的虚拟机(Virtual Machine,VM)，并在虚拟机中部署运行自己的应用程序。据国际数据公司(International Data Corporation，IDC)发布的《全球及中国公有云服务市场(2020年)跟踪》报告显示，2020年中国公有云服务整体市场规模达到193.8亿美元，同比增长49.7％，为全球各区域中增速最高。其中，数据库、大数据分析等IO密集型应用程序(需频繁读写硬盘中的文件)是公有云中的重要业务。

为提高资源利用率，云计算服务提供商通常将多台虚拟机同时混合部署到一台物理服务器上，这些虚拟机将共享物理服务器上的硬件资源。除了CPU数量、内存容量、硬盘容量等用户显式购买的资源外，CPU缓存容量、硬盘IO带宽等资源将在多台虚拟机之间根据使用情况动态分配。然而，在这种情况下，IO密集型应用程序往往不能取得最佳性能。这是因为这类应用程序的性能同时受两个因素的影响：操作系统IO机制参数、硬盘IO带宽分配量。在调整虚拟机的IO带宽分配量的同时，操作系统IO机制参数的调整被忽视。而最佳操作系统IO机制参数的设置是复杂的，它受应用程序自身读写特征的影响，且在不同的IO带宽分配量下最佳值也不同。

值得指出的是，公有云环境下用户隐私需要严格保护，所应用的技术方案须在不入侵用户程序且不获取用户程序具体运行情况的基础上，依然能够良好运作。

现有技术中，GIFT系统能够识别IO空闲的虚拟机，将其中多余的IO带宽转移到IO繁忙的虚拟机上，以提高整体吞吐量。同时，被减少带宽的虚拟机将获得其他资源的补偿，以确保公平性。但这种方式中，在调整IO带宽分配量的同时，没有考虑操作系统IO机制参数的同时调整，无法最大化IO密集型应用程序的性能。

现有还有一些技术专注于IO密集型应用程序内部参数的调优，如针对MapReduce框架的参数调优、针对数据库内存池参数的调优等，能够提高特定应用程序的性能。但这种方式没有考虑公有云中硬件资源分配量的动态变化，无法最大化IO密集型应用程序的性能；需要入侵用户程序，无法满足隐私保护的需求。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于公有云的应用程序协同配置系统、方法及设备，用于在不入侵用户程序且保证公平性的基础上，尽可能地提高每个虚拟机的性能以实现整体吞吐量最大化。

为实现上述目的及其他相关目的，本发明提供一种基于公有云的应用程序协同配置系统，包括：硬盘IO带宽分配模块，用于周期性地监视每个虚拟机的IO带宽使用情况，并基于虚拟机的IO带宽使用情况分配调整虚拟机的带宽；IO机制参数调优模块，用于基于虚拟机的带宽调整虚拟机的客户操作系统中的IO机制参数。

于本发明的一实施例中，所述基于虚拟机的IO带宽使用情况分配调整虚拟机的带宽包括：将利用率低于最低阈值的虚拟机确定为空闲虚拟机，并从所述空闲虚拟机处回收IO带宽；将利用率高于最高阈值的虚拟机确定为繁忙虚拟机，并为所述繁忙虚拟机分配额外增加的带宽。