[发明专利]分布式计算系统中的集群资源管理

说明书

本文中描述了用于在计算系统中的计算设备的集群之间管理资源的技术。在一个实施例中，一种方法包括：经由计算机网络接收指示服务器从第一集群被重新分配给第二集群的资源重新分配消息，并且响应于所接收的资源重新分配消息，经由计算机网络与从第一集群重新分配给第二集群的服务器建立通信。该方法还包括在经由计算机网络与服务器建立通信之后，将计算负载分配给从第一集群重新分配给第二集群的服务器，而无需将服务器在物理上从第一集群重新分配给第二集群。

背景技术

分布式计算系统通常包括多个路由器、交换机、网桥和其他网络设备，这些网络设备经由有线或无线网络链路互连服务器、网络存储设备和其他类型的节点。个体节点可以从用户接收和存储数据，并且可以彼此协作以支持对所存储的用户数据的检索或修改等等。这种数据存储技术通常称为“云存储”。

发明内容

提供本“发明内容”是为了以简化的形式介绍一些概念，这些概念将在下面的“具体实施方式”中进一步描述。本“发明内容”不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。

实现云存储通常涉及利用由计算机网络互连的大量节点来提供数据存储、检索、修改、删除或其他合适的数据操作。为了有效地管理如此大量的节点，可以将节点的子集分组为独立管理的计算组或“集群”。例如，可以在逻辑上和/或物理上将云存储系统分组为多个集群，这些集群单独具有由集群控制器共同管理的多个前端服务器、分区服务器和后端存储服务器。前端服务器可以被配置为接收和响应于读取、写入、擦除或对与用户帐户相关联的某些用户数据执行其他合适的数据操作的用户请求。分区服务器可以被配置为确定哪些后端存储服务器包含所请求的用户数据或其部分。后端存储服务器可以被配置为对用户数据的至少一部分执行存储、检索、保持或其他合适的操作。

集群控制器可以被配置为监测前端服务器、分区服务器和/或后端存储服务器的各种数据操作并且支持由这些服务器执行的功能。例如，集群控制器可以监测集群中的个体分区服务器上的计算负载(例如，CPU利用率百分比)。集群控制器还可以通过基于监测到的分区服务器的计算负载将计算负载从一个分区服务器转移到另一分区服务器来在集群中的多个分区服务器之间执行负载平衡。在其他示例中，集群控制器可以监测网络带宽消耗、每秒接收的用户请求或集群中的各个组件的其他合适的操作参数，并且相应地重新分配资源。

然而，前述负载平衡技术在某些情况下可能不足以解决对单个集群中的组件提出的用户需求。例如，由于集群拓扑或其他设计限制，单个集群可以被约束为仅包含最大数目的服务器(例如，一千个服务器)。因此，无法在物理上向集群添加更多服务器以适应放置在集群中的服务器上的大量计算负载。结果，集群中的用户请求(例如，读或写请求)的处理可能具有高等待时间和长延迟，这会对用户体验产生负面影响。解决上述缺点的一种技术是将用户帐户和相关联的用户数据从一个集群手动重新定位到另一集群。但是，这种手动重新定位可能是劳动密集型的、效率低下的并且容易出错。

所公开的技术的几个实施例可以通过实现集群资源管理器以管理分布式计算系统中的集群之间的逻辑资源重新分配来解决前述困难的至少某些方面。例如，集群资源管理器可以被配置为监测和在逻辑上向集群分配分区服务器或其他合适类型的计算、网络或存储资源以适应集群经历的各种类型的负载。在某些实施例中，集群资源管理器可以是分布式计算系统中的一个或多个独立服务器。在其他实施例中，集群资源管理器可以是由分布式计算系统中的一个或多个服务器提供的计算服务。

集群资源管理器可以被配置为与分布式计算系统中的集群控制器进行通信以接收对应集群的网络带宽、CPU利用率、每秒接收的用户请求数或其他操作参数的状态数据。在某些实现中，集群资源管理器可以周期性地向集群控制器查询状态数据。在其他实现中，集群控制器可以被配置为定期或在其他合适的基础上向集群资源管理器报告状态数据。