[发明专利]一种基于MapReduce的并行数据立方构建方法在审
申请号: | 201910879241.0 | 申请日: | 2019-09-18 |
公开(公告)号: | CN110597929A | 公开(公告)日: | 2019-12-20 |
发明(设计)人: | 李晓涛;朱海平;金炯华;倪明堂;黄培;张卫平;吴淑敏 | 申请(专利权)人: | 广东省智能机器人研究院 |
主分类号: | G06F16/28 | 分类号: | G06F16/28;G06F16/21;G06F16/23 |
代理公司: | 44102 广州粤高专利商标代理有限公司 | 代理人: | 罗晓林;杨桂洋 |
地址: | 523000 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 构建 等价 并行 数据立方结构 并行数据 高压缩性 可扩展性 快速查询 优化操作 增量更新 并行性 高压缩 索引性 分割 索引 存储 查询 更新 | ||
1.一种基于MapReduce的并行数据立方构建方法,包括以下步骤:
S1,Dwarf数据立方划分,对Dwarf数据立方进行等价分割,划分成为若干个子Dwarf数据立方;
S2,并行Dwarf数据立方构建,根据等价分割后的子Dwarf数据立方,进行并行的建立、查询、更新和优化操作,完成Dwarf数据立方的构建。
2.根据权利要求1所述的基于MapReduce的并行数据立方构建方法,其特征在于,所述Dwarf数据立方划分包括:
S1.1,对Dwarf数据立方进行基础划分,对于给定Dwarf数据立方结构DTree和它的维层次DA、DB、…、DN,对于第一层次维DA进行划分,维DA的维值为A1、A2、…、An,对维DA的属性值按照设定范围分割R1、R2、…、Rm,其中Ri={Ai1、Ai2、…、Aik},根据划分好的维DA的属性值的范围,将Dwarf数据立方划分为子DwarfR1数据立方、子DwarfR2数据立方…、子DwarfRm数据立方,其中子DwarfRi数据立方由原Dwarf数据立方的Ai1、Ai2、…、Aik单元的子数据合并组成,子DwarfRi数据立方的顶层维仍然为维DA。
3.根据权利要求1所述的基于MapReduce的并行数据立方构建方法,其特征在于,所述Dwarf数据立方划分包括:
S1.2,对Dwarf数据立方进行多维划分,对于给定Dwarf数据立方树结构DTree和它的维层次DA、DB、…、DN,对于它的自顶向下的M个维DA、DB、…、DI、…、DM,其中M小于N,维DI的维值为I1、I2、…、In,对维DI的维值进行范围分割RI1、RI2、…、RIm,其中RIi={Ii1、Ii2、…、Iik},根据DA、DB、…、DI、…、DM中各个维的属性值的范围划分,将DTree划分为Dwarf1、Dwarf2、…、Dwarfn,其中Dwarfi由原Dwarf数据立方根据维DA、DB、…、DM的某个范围划分组合RAj、RBk、…、RMp中的各个维的属性值单元的子数据立方组成。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东省智能机器人研究院,未经广东省智能机器人研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910879241.0/1.html,转载请声明来源钻瓜专利网。