[发明专利]一种基于大数据分析的分布式MOLAP技术系统

说明书

本发明提供了一种基于大数据分析的分布式 MOLAP 技术系统，包含大数据环境中的 MOLAP 优化技术和分布式的 MOLAP 系统。大数据环境中,常用的 MOLAP 优化方法有以下两种:利用预计算和浓缩数据立方的结果优化 MOLAP性能和通过优化存储结构和算法来优化 OLAP 性能,本系统提出了 OLAP 查询中的 SPAJG‑OLAP 子集,在存储、查询、数据分布、网络传输和分布式缓存等方面研究海量数据大规模并行处理框架的优化策略和实现技术,实验证明,效果良好。该系统基于并行数据库技术优化 ROLAP 性能,通过对 MOLAP 查询以及存储的优化达到加速 MOLAP 的目的。

技术领域

本发明涉及大数据分析的 DOLAP 技术，特别涉及一种基于大数据分析的分布式MOLAP 技术系统。

背景技术

近年来,随着大数据时代的到来以及互联网、传感器和科学数据分析等领域的快速发展,数据量近乎每年在成倍地增长，无论是在科学领域(生物学、地理学、天文学、气象学等),

还是在工程领域,都面临着数据雪崩的问题,大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战。

发明内容

Hao Lap 是 DOLAP 在大数据环境中的实现系统,本节比较了 Hao Lap,Hive,Hadoop DB,HBase,Olap4Cloud 的数据装载、切块操作、上卷操作性能以及存储代价;实验数据采用了真实的由连续数值型维组成的真实数据集Ocean Cube 以及由离散枚举型维组成的高维 SSB数据集。实验结果表明:尽管 Hao Lap 在数据装载方面没有优势,但其 OLAP性能明显高于其他 4 个系统,且性能不取决于原始数据集的规模以及操作的复杂程度,存储代价和 Hive 相当并低于其他 3 个系统。产生这种现象的主要原因有以下两点:DOLAP技术采用了简化的模型和编码机制,使得维和度量的映射、维层次的遍历都更加高效;DOLAP 技术使用分块策略存储度量并在 OLAP 执行过程中使用块选择算法,尽量缩小数据查询范围。此外,本实验还分析了 Hive,Hadoop DB,HBase,Olap4Cloud 的OLAP 性能特征和成因。

2、该技术包括以下 6 个方面:采用特殊的多维模型来组织维和度量维编码和遍历算法实现了维值树上的上卷下钻操作;简化的维存储方法,且数据立方分块算法实现了维和度量的映射关系以及度量的分布式存储;线性化和反线性化算法实现了块和单元格的高效寻址算法; 通过块选择算法来优化 OLAP 性能;提出基于 Map Reduce 的 OLAP 算法实现。

3、大数据环境下基于 Map Reduce 的分布式 MOLAP 技术,称为 DOLAP.DOLAP采用一种特殊的多维模型完成维和度量的映射;采用维编码和遍历算法实现维层次上的上卷下钻操作;采用数据分块和线性化算法将维和度量保存在分布式文件系统中;采用数据块选择算法优化 OLAP 的性能;采用Map Reduce 编程模型实现 OLAP 操作.在 DOLAP 技术的基础上,我们基于 Hadoop 实现了一个 OLAP 系统Hao Lap (hadoop OLAP),设计了一系列测试用例,将 Hao Lap 与 Hive,Hadoop DB,HBase 和 oalp4cloud 等进行性能测试和比较.实验结果表明,Hao Lap 的数据装载性能不具优势,但其 OLAP 性能优势明显,且性能与原始数据集规模以及查询复杂程度无关,尤其适合高维数据立方的 OLAP 操作.HaoLap 仅依赖分布式文件系统存储数据,不引入额外的存储代价,数据立方通过计算获得,对于立方的每个维,仅存储维级别名称和每个维级别中维值的个数,不同于传统 MOLAP 系统耗费大量空间存储数据立方。