[发明专利]一种数据立方体的非层次数据结构摘要方法

说明书

本发明公开了数据立方体的非层次数据结构摘要方法，包括以下步骤：获取数据立方体D；将数据摘要任务转换为非层次数据结构摘要问题，即用带有误差边界的矩形区域覆盖数据立方体，并使摘要大小最小化；从数据立方体D中提取一组α近似矩形的集合C，并确保C包含非层次数据结构摘要问题的最优解，获得数据立方体D中每个位置(i,j)的边界F_ij；从集合C中选择α近似矩形以贪心算法的方式覆盖数据立方体D，并使用基于堆的优化来提高效率；使用最优的近似矩形来表示数据立方体。本发明摘要规模较小，运行时间较短，解决了现有的数据摘要方法需要预先设定数据多维度层次结构的问题。

技术领域

本发明属于数据处理技术领域，尤其涉及一种数据立方体的非层次数据结构摘要方法。

背景技术

数据立方体在气象学、销售和人口统计学等领域无处不在，而数据摘要能够压缩多维数据立方体，并提供观察数据的不同视角，是一项重要的服务。现有的数据摘要方法需要预先设定的数据多维度的层次结构，而许多类型的数据(例如，降雨和温度)并不存在这种结构。

多维数据立方体广泛用于存储多属性维度的数据，例如气象数据的位置和时间维度，销售数据的位置和产品等维度，人口统计数据的地点、年龄和性别维度。如图1所示，数据立方体在其维度上定义的网格中包含许多记录。数据立方体可能非常大，这使得存储和分析变得困难。例如，欧洲中期天气预报中心(ECWMF)已经积累了270PB气象数据。

数据摘要将数据立方体划分为多个区域，并为数据压缩和挖掘数据信息提供每个区域中记录的近似值。例如，在图2中，具有相同颜色的记录被分配到同一区域，并通过该区域右下角的值进行近似。压缩是通过只存储数据摘要来实现的，它只有5条记录(每条记录一个区域)，而不是原始数据立方体的25条记录。摘要还确保同一区域的记录取相似的值，最坏情况的近似误差为1。因此，摘要提供了有关数据的洞察，例如，该区域的左侧部分具有相似的温度(具有相同的颜色)和该区域右下方的温度变化迅速(有3个小的摘要区域)。一些研究还使用数据摘要来有效地回答OLAP查询。

许多研究已经研究了数据立方体的摘要，因为它支持数据压缩和洞察发现。根据它们能否准确重建原始数据立方体，可分为无损方法和有损方法。有损方法更受欢迎，因为它们的摘要大小较小。现有数据摘要算法的一个问题是它们需要预先假定的属性维度层次结构。例如，在图3中，产品维度有2层层次结构，可以在第一层展开为服装和食物，然后服装在第二层进一步扩展为夹克和长裤。现有方法依赖于预设的层次结构来构建数据摘要。例如，(曼哈顿区,服装)可以通过合并夹克和长裤被汇总为一个区域。然而，许多类型的数据，如温度、降雨量、湿度等，并没有预先假定的层次结构，因为它们的维度没有明显的语义(如经度、纬度和时间)。相反，数据摘要应该有助于发现层次结构来回答诸如哪个地区降雨量相似以及温度相似的时间段等问题。

无损摘要方法确保可以从摘要中准确地恢复原始数。Lakshmanan等人使用商立方体来对数据立方体进行摘要，同时保留上卷和下钻操作的语义。Sismanis等人设计了一个名为Dwarf的结构，它识别重复的前缀和后缀并将它们组合起来进行压缩。王等人提出了浓缩数据立方体方法，它将多个元组压缩为一个而不会丢失信息。

为了使摘要规模更小，一些方法进行有损摘要，其中从摘要重建的记录可能与原始记录不同。有损摘要的一个重要方面是它是否允许控制原始记录和重建记录之间的误差阈值。据我们所知，现有的有损摘要方法都依赖于数据立方体维度的层次结构。