[发明专利]一种基于封闭外壳片段立方体的水利普查数据挖掘方法

摘要

本发明公开了一种基于封闭外壳片段立方体的水利普查数据挖掘方法，首先将高维数据分成低维片段，再计算各低维片段的封闭立方体；利用位图索引、倒排索引相结合，建立存储结构表，快速判断聚集单元的封闭性，用封闭查询位图来代替封闭单元进行存储，仅保留不重复的基本单元、封闭查询位图以及对应的TID‑List集合，在查询封闭外壳片段立方体时，利用查询位图和倒排索引进行查找，查找范围由原来的完全立方体所有数据单元缩小到所有基本单元，快速定位查询结果。本发明在保证查询效率的前提下，使高维数据立方体得到进一步压缩。

主权项

1.一种基于封闭外壳片段立方体的水利普查数据挖掘方法，其特征在于，包括以下步骤：1)生成封闭外壳片段立方体，具体为：11)基于外壳片段立方体方法划分维片段，即将非层次维度属性的高维数据按照维度属性互不相交的原则划分为大小为F的k个低维数据片段；12)依次对低维数据片段进行编号FID，基于基本事实表创建每个低维数据片段对应的维度属性值对照表和度量索引对照表，所述维度属性值对照表包括索引号TID以及对应的维度属性值，所述度量索引对照表包括索引号TID以及对应的度量属性值；13)基于基本事实表构造每个维度属性值的倒排索引表；14)对于非层次维度属性的高维数据的每条基本单元，均按照维度属性值对照表划分为k个低维数据基本单元，对任一低维数据片段，相应地生成每条低维数据基本单元各查询位图对应的倒排索引TID‑List，同时进行查询位图的封闭性行判断；在当前的低维数据片段中，所有低维数据基本单元的各查询位图对应的倒排索引TID‑List均生成后进行查询位图的封闭性列判断；仅保留封闭查询位图及对应的倒排索引TID‑List，生成当前低维数据片段的低维数据基本单元‑查询位图‑倒排索引对照表，即为当前低维数据片段对应的封闭外壳片段；重复14)直至生成所有低维数据片段对应的封闭外壳片段；15)按照各个低维数据片段的低维数据基本单元‑查询位图‑倒排索引对照表存储结构输出各个低维数据片段对应的封闭外壳片段；2)查询封闭外壳片段立方体，具体为：21)对于查询Q＝(1,…,…}，即每个子查询均对应维度属性值对照表的编号FID，其中di表示当前查询中第i维的维度属性值；22)任一子查询，对应的查询位图Query‑Bitmap＝，在对应编号FID的各个低维数据片段对应的封闭外壳片段的低维数据基本单元‑查询位图‑倒排索引对照表中，查询第一条匹配的低维数据基本单元以及对应的封闭查询位图；23)基于步骤22)得到的低维数据基本单元，查找对应的封闭查询位图中以F位为一个匹配单元，查找匹配的查询位图，得到对应的倒排索引TID‑List即为对应编号FID的低维数据片段的查询结果；24)重复步骤22)和步骤23)直至得到所有低维数据片段的查询结果，对各个低维数据片段的查询结果求交集，根据度量索引对照表和给定的聚集函数计算出查询结果即为查询Q＝的结果。