[发明专利]数据管理系统及方法

权利要求书

1.一种管理系统，包括：

用于识别待处理的多个文件以响应查询的工具；

用于生成一个或更多个扫描集的工具，每个扫描集包括所述多个文件中的一个或更多个文件；

用于基于一致性哈希算法将所述一个或更多个扫描集中的每个扫描集分配给执行节点的工具；以及

用于响应于确定可用的执行节点已经完成处理了在给其分配的扫描集中的所有文件而给所述可用的执行节点重新分配未处理文件的工具。

2.根据权利要求1所述的管理系统，其中，用于给所述可用的执行节点重新分配所述未处理文件的所述工具包括用于基于一致性哈希算法进行重新分配的工具。

3.根据权利要求1所述的管理系统，其中，用于基于一致性哈希算法将所述一个或更多个扫描集中的每个扫描集分配给执行节点的所述工具还包括：

用于引用一致性哈希算法以识别哪个执行节点具有对于第一扫描集中的文件的最高所有权级别的工具；以及

用于将所述第一扫描集分配给所识别的具有对于所述第一扫描集中的文件的最高所有权级别的执行节点的工具。

4.根据权利要求1所述的管理系统，其中，用于响应于确定所述可用的执行节点已经完成处理了在给其分配的扫描集中的所有文件而给所述可用的执行节点重新分配所述未处理文件的所述工具还包括：

用于引用一致性哈希算法以识别所述可用的执行节点是否具有所述未处理文件的第二级所有权的工具；以及

用于仅响应于确定所述可用的执行节点具有所述未处理文件的第二级所有权而给所述可用的执行节点重新分配所述未处理文件的工具。

5.根据权利要求1所述的管理系统，还包括用于定义一致性哈希算法的工具，定义一致性哈希算法的所述工具包括：

用于给每个执行节点分配对于所述多个文件中的文件的集合的最高所有权级别的工具，使得具有对于特定的文件集合的最高所有权级别的执行节点将接收用于处理所述特定的文件集合的最初分配；以及

用于给每个执行节点分配对于第二级文件集合的第二级所有权级别的工具，使得具有对于特定的第二级文件集合的第二级所有权级别的执行节点将仅在所述特定的第二级文件集合依然未被相邻的执行节点处理时才接收用于处理所述特定的第二级文件集合的分配。

6.根据权利要求1所述的管理系统，还包括用于定义一致性哈希算法的工具，定义一致性哈希算法的所述工具包括：

用于为所述多个文件到多个执行节点的分配定义多个可能的所有权级别的工具；以及

用于定义文件分配模型使得每个执行节点具有所述多个文件中的每个文件的在所述多个可能的所有权级别中的一个级别的所有权的工具。

7.根据权利要求6所述的管理系统，其中，用于为所述多个文件到所述多个执行节点的分配定义所述多个可能的所有权级别的所述工具还包括：

用于定义最高所有权级别的工具，所述最高所有权级别表明执行节点将最初接收用于处理在其最高所有权级别的文件的分配；

用于定义第二级所有权级别的工具，所述第二级所有权级别表明执行节点将仅在其第二级所有权级别的文件依然未被处理时才接收用于处理那些文件的分配；以及

用于定义第三级所有权级别的工具，所述第三级所有权级别表明执行节点将仅在其第三级所有权级别的文件依然未被对于那些文件在最高所有权级别的执行节点和在第二级所有权级别的执行节点处理时才接收用于处理那些文件的分配。

8.根据权利要求1所述的管理系统，其中，用于生成所述一个或更多个扫描集的所述工具包括用于基于所述多个文件中的每个文件的大小来生成的工具。

9.根据权利要求1所述的管理系统，其中，用于生成所述一个或更多个扫描集的所述工具还包括用于优先化由执行节点缓存的文件的工具。

10.根据权利要求1所述的管理系统，还包括用于响应于重新分配所述未处理文件而将所述未处理文件从其分配到的扫描集移除的工具。