[发明专利]计算集群中具有数据访问意识的工作负载管理

说明书

如所描述的用于在计算集群中具有数据访问意识的工作负载管理的方法。响应于由工作负载管理器接收到用于调度的输入工作负载，数据需求评估器模块从存储系统中检索出一组输入。所述数据需求评估器模块根据数据访问注意事项生成执行所述输入工作负载的已排序的集群主机列表，并将排序后的集群主机列表提供给调度器模块。所述调度器模块为所述计算群集内的特定主机生成所述输入工作负载的调度，在此，所述已生成的调度会根据所述数据访问注意事项进行优化。

技术领域

本发明总体上涉及计算系统，并且更具体地涉及用于分布式计算组件内和/或之间的工作负载管理和调度的各种实施例。

背景技术

在当今社会中，计算机系统是司空见惯的。计算机系统可以在工作场所、家中或学校中找到。随着计算机系统变得越来越被依赖、方便和便携，Internet呈指数增长。现在，个人和企业比以往任何时候都更依赖于分布式系统(通常称为“云”)来提供计算服务以及存储信息和数据。随着与计算设备有关的技术进步的广泛进步，在提供计算服务和存储数据内容的后端支持系统内对增长和发展的需求不断增长。

发明内容

计算集群，简称为集群，是一种计算机系统，其通过连接在一起的多个协作计算机(也称为计算资源，例如软件和/或硬件资源)来完成计算作业。这些位于同一管理域中的计算资源具有统一的管理策略，并为整个用户提供服务。群集系统中的一台计算机通常称为主机或计算节点。

集群系统具有许多优点。例如，群集系统在以负载平衡方式工作时，可以通过多台计算机执行相同的工作来获得更高的效率。群集系统也可以高可用性方式工作。当充当一组服务器中的主服务器的服务器发生故障时，该组服务器中的另一台服务器可以担当主服务器的角色，并提供替代主服务器的服务，从而显示出高故障冗余。

当调度作业时，将相应的计算资源分配给要处理的作业。此过程称为集群环境中的作业调度。作业调度实际上是根据作业和资源的特性根据调度策略将作业映射到相应资源以执行的过程。

在集群计算中，访问和处理数据的这些作业(即工作负载)的效率在很大程度上取决于处理工作负载的集群主机与存储该工作负载访问和处理的数据的集群主机之间的距离(就数据访问和网络延迟而言)。用于访问数据的距离越小(具有较低的数据访问和网络等待时间)，工作负载的效率越高。

本公开的目的是通过将工作负载置于其数据附近来减少工作负载访问数据的等待时间。具体地，当前公开中要解决的挑战是确定如何以有效和自动的方式将与工作负载相关的知识(通常来自工作负载管理系统)和与数据存储相关的知识(通常来自存储系统)相结合，以放置工作负载接近其基础数据，因此提高了工作负载和整个计算系统的效率。

因此，为了改进本领域，本文公开了用于处理器在计算集群中具有数据访问意识的工作负载管理的各种实施例。在一个实施例中，仅作为示例，一种方法包括将计算集群内的工作负载管理器配置为包括数据需求评估器模块和调度器模块；以及响应于由所述工作负载管理器接收到用于调度的输入工作负载：(a)通过所述数据需求评估器模块从存储系统中检索一组输入，其中每个所述输入至少包括以下至少一个：(i)指示输入工作负载是密集型新数据的输入/输出(I/O)还是密集型现有数据的I/O，(ii)与所述输入工作负载相关的一组文件的数据位置性比例，以及(iii)为所述计算集群中每对主机指定的数据访问成本；(b)由所述数据需求评估器模块生成按数据访问注意事项排序以执行所述输入工作负载的集群主机列表；(c)将集群主机的排序列表提供给所述调度器模块；(d)由所述调度器模块生成对所述计算集群内的特定主机的所述输入工作负载的调度，其中所所述生成的调度是根据所述数据访问注意事项而优化的。

除了前述示例性实施例之外，还提供了各种其他系统和计算机程序产品实施例，并提供了相关的优点。提供了前述发明内容以简化形式介绍概念的选择，这些概念将在下面的详细描述中进一步描述。本发明内容既不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

附图的简要说明