[发明专利]用于资源共享池中的作业的高效执行的方法和系统

说明书

技术领域

本发明涉及用于利用资源共享池中的作业处理的高效方法。更具体地说，本发明涉及评估共享资源的虚拟和物理拓扑，并响应于组合的拓扑而处理作业。

背景技术

MapReduce（映射化简）是一种框架，用于使用大量计算机节点跨庞大的数据集处理高度分布的问题。在所有节点使用相同硬件或网格（如果节点使用不同硬件）的情况下，该框架通常被称为群集。可以针对存储在文件系统或数据库中的数据发生计算处理。具体地说，主节点接收作业输入并将作业划分为更小的子作业，这些子作业被分配给群集或网格中的其它节点。在一个实施方式中，分层布置群集或网格中的节点，并且可以进一步划分和分配子作业。负责处理子作业的节点将处理后的数据返回到主节点。更具体地说，主节点收集和组合处理后的数据以形成输出。因此，MapReduce是一种用于对与作业关联的大量数据进行分布式处理的算法技术。

如上所述，MapReduce使能跨节点网络分配数据处理。尽管使用MapReduce带来方便，但目前使用MapReduce处理作业会产生性能问题。

发明内容

本发明包括一种用于高效处理资源共享池中的作业的方法、系统和制品。

在一个方面，提供了一种用于在资源共享池中实施的计算机实现的方法。更具体地说，所述共享池包括与至少一个物理机通信的物理主机，并且所述物理机支持一个或多个虚拟机。收集与所述虚拟机的操作关联的状态信息。此外，收集与所述资源共享池关联的本地拓扑信息。收集该信息的方面包括定期与所述物理机的嵌入式监视器通信。组织所收集的拓扑信息，并且所述拓扑信息包括作为所述资源虚拟拓扑的基础的存储拓扑和关联的资源利用率信息。组织所述存储拓扑信息之后，可以利用该信息促进一个或多个作业的处理。更具体地说，可以响应性地将作业分配给所述共享池中支持与所述作业关联的I/O的高效执行的选定虚拟机。

在另一个方面，提供了一种系统，所述系统具有工具以便支持资源共享池中的作业的高效处理。所述资源共享池包括与多个物理机通信的物理主机。每个物理机可以支持至少一个虚拟机，并且每个物理机包括嵌入式监视器以便从本地虚拟机收集虚拟机状态。同样，每个虚拟机具备嵌入式代理。提供了与所述物理主机通信的功能单元。所述功能单元包括工具以便响应于所述资源共享池的拓扑体系结构而支持作业的高效处理。更具体地说，所述工具包括与所述主机通信的导向器，以便定期与每个嵌入式监视器通信，并收集和组织作为所述资源共享池的虚拟拓扑的基础的拓扑。所述拓扑包括数据存储的存储拓扑和关联的资源利用率信息。所述导向器利用所组织的拓扑将所述作业分配给一个或多个所述共享资源，以便所述作业支持作业关联的I/O的高效执行。

在另一方面，提供了一种用于资源共享池中的作业的高效处理的计算机程序产品。所述计算机程序产品包括其中包含计算机可读程序代码的计算机可读非瞬时性存储介质。当在计算机上执行时，所述计算机可读程序代码导致所述计算机从所述共享池内的资源收集信息。将所收集的信息传送到与一个或多个物理机通信的物理主机和关联的虚拟机。更具体地说，所收集的信息包括但不限于虚拟机信息和物理信息。提供程序代码以便根据所收集的信息收集所述资源共享池的本地拓扑信息，并定期向所述物理机的嵌入式监视器传送所收集的拓扑信息。此外，提供程序代码以便组织所收集的拓扑信息。所述拓扑信息包括但不限于作为虚拟拓扑的基础的存储拓扑和关联的资源利用率信息。提供程序代码以便利用所组织的存储拓扑信息，并响应性地将作业分配给所述共享池中的选定虚拟机。所述作业分配包括支持作业关联的I/O的高效执行。

在另一方面，提供了一种用于在资源共享池中实施的计算机实现的方法。更具体地说，所述资源共享池包括与支持一个或多个虚拟机的至少一个物理机通信的物理主机。从一个或多个所述虚拟机收集状态信息。定期收集和组织由所述物理机和虚拟机表示的资源共享池的层次结构组织的本地拓扑信息。更具体地说，将所组织的拓扑信息存储在所述资源共享池中。评估在所述拓扑中表示的存储资源和虚拟机的利用率。响应于所述拓扑以及对所述存储资源的评估，将作业分配给一个或多个选定虚拟机。因此，响应于所述拓扑和所述存储资源利用率评估，所述作业分配支持高效执行。

从以下结合附图的对本发明的当前优选实施例的详细描述，本发明的其它特性和优点将变得显而易见。

附图说明

在此参考的附图形成本说明书的一部分。附图中示出的特性旨在只是例示本发明的某些实施例而非本发明的所有实施例，除非明确地另有所指，这些附图是：