[发明专利]分区表中的唯一值估计

说明书

技术领域

这里描述的主题涉及分区的数据库表的操纵。

背景技术

近些年来，计算机处理硬件的中央处理单元(CPU)已经基本上体验到了最大的性能提高，这些提高主要是通过处理器核心数目的增加而实现的，而非通过提高时钟速率实现的。因此，为了最大化性能，通过允许并行执行以及具有与核心的数量良好匹配(scale well)的体系结构，如今的软件有利地利用了多核CPU的优势。对于数据管理系统而言，要充分利用并行处理能力所带来的优势，一般需要将存储的数据分区成多个扇区(section)或“分区”，以便对它们并行执行计算。

数据库程序或者数据库管理系统一般用具有行和列的二维表的形式来显示数据。但是，数据典型地存储为一维数据串。基于行的存储典型地将行中的值一起串行化(serialize)，然后是下一行中的值，这样持续下去，相应地，基于列的存储将列的值一起串行化，然后是下一列中的值，这样持续下去。

一般而言，当需要对于许多行计算聚集(aggregate)但只是所有数据列中显然较小的子集时，基于列的系统有着更高的效率，这是因为读取较小的子集相比于读取所有数据而言将会更为快捷。当一列中的新值被即刻提供给所有行时，基于列的系统可以更有效率，这是因为列数据可以被高效地写入并且取代旧的列数据，而不涉及这些行中的任何其它列。当单一行中的多个列在同一个时间被需要时，以及当行的大小相对较小时，基于行的系统将更为高效，这是因为整个行可以通过单一磁盘搜索来取回(retrieve)。如果所有列数据在同一时间被提供而写一个新行时，基于行的系统也将更为高效，这是因为整个行可以通过单一磁盘搜索而被写入。

基于列的存储可以促进使用多个处理器核心并行执行操作。在列存储中，数据已经被垂直的分区，所以对于不同列的操作可以容易地并行处理。如果多个列需要被搜索或者整合，则这些操作中的每一个都可以被分配给不同的处理器核心。此外，对一个列的操作可以通过将列分区为由不同处理器核心处理的多个扇区而被并行化。列数据典型地是统一类型，其可以为优化存储大小以使得那些与基于行的数据存储并不适用的基于列的数据存储可被使用而带来机会。例如，当今一些压缩机制可以利用邻近数据间的相似性来进行压缩。为了改善基于列的数据的压缩，典型的解决方法是对行进行排序(sorting)。例如，使用位图索引，通过按照大概的大小次序，排序能够改善压缩。在传统的系统中，柱形压缩通常以取回效率为代价来实现对存储空间需求的减少。当数据位于单一位置时，从单一行中取回所有的数据可能更为高效，如基于行的体系结构。进一步的，邻近压缩完成的越多，则随机访问将变得越发困难，这是因为数据典型地需要被解压缩才能被读取。因此，传统的基于列的体系结构通常可以通过附加的以最小化访问压缩数据的需求为目标的机制而被丰富。这些附加的机制可以导致更低的压缩效率和/或增加访问压缩数据的处理需求。

当今可用的相关数据库管理系统可以基于被应用来划分(split)数据库的特定标准来实现分区。通常，分区键(key)被用来基于一定标准分配分区。通常使用的方法包括范围分区、列表分区、哈希(hash)分区、轮循(round robin)分区、以及组合分区。在范围分区中，分区可以通过确定分区键是否在该排列中而被定义。例如，分区可以被创建为包括邮政编码在70000和79999之间的列中所有的行。在列表分区中，分区可以被分配值的列表，并且如果分区键具有列表中的一个值，则能够选择该分区。例如，分区被建立为包括与北欧国家相关的数据，该分区可以包括其中国家名称的列包括文本字符串值冰岛、挪威、瑞典、芬兰、丹麦、等等的所有的行。在哈希分区中，哈希函数的值可以确定分区中的成员。例如，对于具有四个分区的分区方法，哈希函数可以返回从0到3的值以便指定四个分区中的一个。轮循分区可以被用来根据在可用分区或者服务器或服务器过程当中的预设旋转(pre-setrotation)，在多个数据分区和/或服务器或服务器过程中分布存储和/或处理载荷。例如，第一数据单元可以导向三个分区中的第一分区，第二数据单元导向第二分区，第三数据单元导向第三分区，第四数据单元导向第一分区，依此类推。在组合分区中，能够允许其它分区方法的一定组合，例如，首先应用范围分区然后应用哈希分区。

发明内容