[发明专利]数据管理系统及方法

说明书

描述了示例数据管理系统和方法。在一个实现中，方法基于所接收的查询识别用于处理的多个文件，并且识别可用于处理多个文件的多个执行节点。方法最初创建多个扫描集，每个扫描集包括所述多个文件的一部分，并且基于文件分配模型将每个扫描集分配给执行节点中的一个。多个扫描集由多个执行节点处理。如果所述方法确定特定的执行节点已完成处理在其分配的扫描集中的所有的文件，将未处理文件从另一个执行节点重新分配到特定的执行节点。

本申请是申请日为2015年2月18日，申请号为201580020409.2，发明名称为“数据管理系统及方法”的申请的分案申请。

相关申请的交叉引用

本申请要求于2014年2月19日提交的标题为“Apparatus and method forenterprise data warehouse data processing on cloud infrastructure”的美国临时申请序列第61/941,986号的权益，该申请的公开内容通过引用以其整体并入本文。

技术领域

本公开涉及管理数据的处理和其它任务的资源管理系统及方法。

背景

目前，许多现有的数据存储和检索系统是可用的。例如，在共享磁盘系统中，所有数据被存储在共享的存储设备上，其从数据集群中的所有处理节点是可访问的。在这种类型的系统中，所有的数据变化被写入到共享的存储设备，以确保数据集群中的所有的处理节点访问一致版本的数据。由于在共享磁盘系统中处理节点的数目增加，因此共享的存储设备(以及处理节点和共享的存储设备之间的通信链路)变成了减缓数据读取和数据写入操作的瓶颈。随着更多的处理节点的添加，进一步地加剧这种瓶颈。因此，由于该瓶颈问题，现有的共享磁盘系统具有有限的可扩展性。

另一个现有的数据存储和检索系统被称为“无共享架构”。在此架构中，数据被分布在多个处理节点上，使得每个节点在整个数据库中存储数据的子集。当新的处理节点被添加或移除时，无共享架构必须重新排列在多个处理节点上的数据。这种数据的重新排列可以是费时的并且对在数据重新排列期间执行的数据读取和写入操作具有破坏性。并且，数据对特定节点的亲和度可以在对于流行数据的数据集群上创建“热点”。此外，由于每个处理节点也执行存储功能，因此该架构需要至少一个处理节点来存储数据。因此，如果所有的处理节点都被移除，则无共享架构无法存储数据。另外，由于在许多不同的处理节点上的数据的分布，无共享架构中的数据的管理是复杂的。

本文所描述的系统及方法提供了对数据存储和数据检索的改进的方法，其缓解了上面确定的现有系统的局限性。

发明内容

本申请还包括以下内容：

1)一种方法，包括：

基于接收的查询识别多个文件以进行处理；

识别可用于处理所述多个文件的多个执行节点；

最初创建多个扫描集并且基于文件分配模型将所述扫描集的每一个分配给所述多个执行节点中的一个，其中每个扫描集包括所述多个文件的一部分；

通过所述多个执行节点处理所述多个扫描集；

确定特定的执行节点是否已经完成处理在其分配的扫描集中的所有的文件；以及

响应于确定特定的执行节点已经完成处理在其分配的扫描集中的所有的文件：

重新分配来自第二执行节点的未处理文件；以及

将所述未处理文件分配给所述特定的执行节点用于处理。

2)根据1)所述的方法，还包括基于每个文件的大小布置每个扫描集中的文件。

3)根据1)所述的方法，还包括布置每个扫描集中的文件以优先化由所分配的执行节点缓存的文件。