[发明专利]用于数据库聚集操作的数据处理方法和系统

说明书

技术领域

本发明涉及数据库技术领域。更具体地，本发明涉及一种通过对数据库中的数据进行预处理，从而快速执行数据库聚集操作的方法和系统。

背景技术

目前，数据库技术在信息管理、统计、商务、金融等各个行业均得到了日益广泛的应用，它已经成为支撑当前信息存储、管理的基础性技术。在应用数据库的过程中，随着存储的数据量不断增长或者数据仓库（Data Warehouse）的运用，对海量数据、历史数据进行聚集（Aggregation）操作的难度不断增大。聚集操作是数据仓库的基本操作，用于统计数据、报告以及数据挖掘等。常见的聚集操作类型包括：求和（SUM）、求平均值（AVG）、求最大值（MAX）、求最小值（MIN）、计数（COUNT）等。例如，某银行需要统计过去三年内单笔交易金额大于3万美元的交易数目，这些满足条件的交易中的最大交易金额以及平均交易金额。目前常用的处理方法是，针对查询语句扫描银行过去三年的历史数据中所有符合条件的“行”（ROW）并计算它们的最大值以及平均值。由于银行的业务量极大，三年的历史数据存储量也必然十分巨大，因此需要耗费大量的时间从银行的海量历史数据中查询符合条件的数据记录并进行指定的运算，其所耗费的时间通常是几个小时、几天甚至几周。因此，问题在于当执行数据聚集操作时，如何应对大量满足查询条件的数据库的“行”？

现有技术中存在一些解决上述问题的尝试性方案。其一是利用多维数据库（Multi-Dimension Database,MDDB）。与关系数据库相比，它的优势在于当数据列的键值组合需要被访问的次数（或几率）相对均匀时可以提高数据处理速度，加快反应时间，提高查询效率。但是多维数据库的缺点在于，它需要存储所有可能的组合以覆盖查询语句可能涉及到的所有数据记录，并且会对空间造成极大的浪费。并且，键值组合需要被访问的次数（或几率）相对均匀的情况也很少出现。

其二，现有技术中还存在一种解决方案：针对预先定义好的特定查询语句，预先计算出该特定查询语句需要用到的计算结果。但是这种方案的一个明显缺点是：它只能针对预定义的特定查询语句进行预运算，而无法针对随机的多种多样的查询语句进行处理。通常，数据统计、分析、挖掘工作的需求是多种多样的，很难事先预定义好所有的特定查询语句。

发明内容

考虑到上述存在的问题，本发明的目的之一在于提供一种在海量历史数据的情况下，快速执行数据库聚集操作的数据处理方法和系统。本发明的又一目的在于提供一种无需耗费大量额外空间而快速执行数据库聚集操作的数据处理方法和系统。本发明的再一目的在于提供一种可以响应于任何实时数据库聚集操作请求，而快速执行数据库聚集操作的数据处理方法和系统。

根据本发明的一个方面，提供了一种用于数据库聚集操作的数据处理方法，包括：获取位于数据库存储单元的普通数据页中的数据；对所获取的数据进行数据库聚集操作预处理；以及将所述预处理的结果存储于摘要数据页中，所述摘要数据页用于快速执行数据库聚集操作。

根据本发明的另一方面，提供了一种用于数据库聚集操作的数据处理系统，包括：一种用于数据库聚集操作的数据处理系统，包括：数据获取装置，被配置为获取位于数据库存储单元的普通数据页中的数据；预处理装置，被配置为对所获取的数据进行数据库聚集操作预处理；以及预处理结果存储装置，被配置为将所述预处理的结果存储于摘要数据页中，所述摘要数据页用于快速执行数据库聚集操作。

根据本发明所提供的方法或系统，可以响应于任何实时数据库聚集操作请求，利用预处理结果来快速执行数据库聚集操作，并且无需耗费过多的空间。

附图说明

通过对结合附图所示出的实施方式进行详细说明，本发明的上述以及其他特征将更加明显，本发明附图中相同的标号表示相同或相似的部件。在附图中，

图1示出了适于用来实现本发明实施方式的示例性计算系统100的框图；

图2示出了根据本发明一实施例的用于数据库聚集操作的数据处理方法的流程图；

图3示出了根据本发明又一实施例的用于数据库聚集操作的数据处理方法的流程图；

图4A至4F示出了根据本发明一实施例的对数据进行预处理以及执行数据库聚集操作请求的各个阶段的实例图，其中：

图4A示出了一个实例数据库表的定义；

图4B示出了该实例数据库表的大致内容；

图4C示出了根据图4B的数据库表创建索引（INDEX）的示例性语句；