[发明专利]用于物理机的数据分配方法和数据分配装置

说明书

技术领域

本发明涉及数据处理领域，并且更具体地，涉及数据处理领域中的用于物理机的数据分配方法和数据分配装置。

背景技术

随着虚拟化技术的发展，在一个物理机上通常可以同时运行多个虚拟机。这些虚拟机共享物理机的硬件资源并协同工作，不仅可以扩大物理机的硬件容量，而且在各虚拟机中进行的数据处理可以独立进行而不相互影响，由此可以显著提高物理机的工作效率。

目前常用的虚拟化技术包括Xen、KVM（Kernel Virtual Machine，内核虚拟机）等。以Xen为例，在一个物理机A上可以同时运行被称为Dom0、Dom1、Dom2、……、Dom U的这U+1个虚拟机。Dom0虚拟机作为控制虚拟机，能够分辨物理机A接收的数据分别属于Dom1至Dom U中的哪个虚拟机。Dom1至Dom U中的每一个均具有一个属于它自己的队列。Dom0通过将数据存储在Dom i（i为1至U的整数）的队列中以供Dom i处理。例如，Dom0通过将待分配给Dom1的数据存储在对应于Dom1的基准存储页面Page1中，然后通过将Page1中的数据与Dom1对应的虚拟机存储页面Page1’中的数据进行交换，向Dom1分配属于它的数据。分配给Dom1的数据被存储在Dom1自己的队列中。同样地，分配给Dom2至Dom U中的每一个的数据也被存储在它们各自的队列中。这样，Dom0至Dom U中的每一个通过从它们各自的队列中取数据来并行运行。

然而，由于每个虚拟机在处理一个作业的数据的过程中所处理的数据可能对应于该作业中包含的具有不同复杂度的任务（一个作业可以包含多个任务），因此，即便每个虚拟机需处理的数据量相等，由于不同数据对应不同的操作和计算复杂度，每个虚拟机的处理时间可能不相同。例如，对于某MapReduce负载，由于一个物理机上的多个虚拟机处理相同数据量任务的处理时间不同，97%的任务可能将在1个小时内完成，但是剩下的一些任务可能需要花费相当长的时间才能够完成，例如大于10个小时。

由于物理机上不同虚拟机对数据的处理时间不同，因此，可能出现一台物理机上的一些虚拟机已经完成数据处理而另一些虚拟机仍处于数据处理过程的现象，使得该物理机上的一些虚拟机处于漫长的等待状态，从而使得物理机的资源没有得到充分利用而影响物理机的处理效率。

发明内容

本发明的实施例提供了一种用于物理机的数据分配方法和数据分配装置，能够避免空闲的虚拟机长期等待，从而能够充分利用单个物理机的资源，提高单个物理机的处理效率。

根据本发明的一方面，提供了一种用于物理机的数据分配方法，在所述物理机上运行有多个虚拟机，所述方法包括：从用于分配作业数据的调度器接收待处理数据；将接收的待处理数据存储在单个队列中；以及响应于所述多个虚拟机中存在空闲的虚拟机，向该空闲的虚拟机分配该队列中的数据，以供该空闲的虚拟机进行处理。

根据本发明的另一方面，提供了一种用于物理机的数据分配装置，在所述物理机上运行有多个虚拟机，所述装置包括：接收部件，被配置为从用于分配作业数据的调度器接收待处理数据；存储部件，被配置为将接收的待处理数据存储在单个队列中；以及分配部件，被配置为响应于所述多个虚拟机中存在空闲的虚拟机，向该空闲的虚拟机分配该队列中的数据，以供该空闲的虚拟机进行处理。

根据上述技术方案，通过为物理机上的多个虚拟机设置单个队列，一旦有虚拟机空闲，就可以从该单个队列中取出数据供该空闲的虚拟机处理。相比于现有技术中为不同虚拟机设置不同的队列而言，多个虚拟机共享单个队列的方式能够更有效地利用各虚拟机，避免有虚拟机处于等待状态而浪费物理机资源。这样，当物理机上还有待处理数据时，物理机上的虚拟机都能够保持在运行状态，从而能够充分利用物理机资源，提高物理机的处理效率，缩短物理机整体上对待处理数据的处理时间。由于物理机的处理时间的缩短，有利于物理机更快地请求新的待处理数据，从而进一步有利于整个作业的完成，缩短作业的处理时间。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1表示根据本发明一实施例的云计算节点；

图2表示根据本发明一实施例的云计算环境；

图3表示根据本发明一实施例的抽象模型层；

图4是示出根据本发明实施例的用于物理机的数据分配方法的流程图；