[发明专利]一种基于预运算的分布式OLAP分析方法及系统

说明书

技术领域

本发明涉及大数据分析的技术领域，尤其是指一种基于预运算的分布式OLAP分析方法及系统。

背景技术

随着信息化技术的不断发展和完善，计算机科学技术被广泛应用于各行各业，与此同时也积累了海量的数据。如何从这些海量数据中提取有效信息充分挖掘其中蕴含的价值，成为许多管理决策者日益关心的重要问题。对于政府机构而言，大数据分析技术可以提高政府信息管理水平，通过对各级政府部分积攒的海量数据进行深入分析，从而为政府政策方针的制定提供参考依据，提高政府的管理效率和宏观决策水平。对于企业组织而言，可以通过大数据分析技术进行精准营销和提高服务质量促进企业服务转型，成为企业赢得竞争的关键。目前，大数据分析技术被广泛应用于商业智能、政府决策、公共服务等领域，从而提高各领域的运行效率和整个社会经济的集约化程度。

大数据分析一般要经过数据采集、数据预处理、数据存储与管理、在线分析处理、分析结果可视化等步骤。其中，在线分析处理(OLAP)是一种将要分析的数据转化为用户易于理解的维度，提供从各种可能地视角观察信息的软件技术，以便于管理人员和分析人员可以快速、一致、交互地访问他们所关心的数据。在线分析处理(OLAP)作为大数据分析过程中的核心环节，通过构建数据立方体为用户提供多维动态分析，包括各个维度的计算和查询应用。用户可以结合自己的查询分析需求通过切片、切块、旋转、上钻、下钻等多维操作对数据仓库中的海量数据进行快速灵活的分析处理，并以直观的、方便决策人员理解形式将查询结果展示出来，从多个层次、多个角度、多个侧面对数据进行剖析，以便决策人员做出决定。

传统的在线分析处理方法是基于集中式结构化数据存储方式如关系型数据库管理系统采用单节点运行计算的方式，将多维数据分为存储数据和维关键字的事实表和存放维信息的维表两部分，通过多表连接、分组聚集计算等操作实现多维分析。由于传统的数据库处理量级尚小，单台服务器的性能很容易满足需求，也不需要消耗额外的存储空间。但在大数据时代，数据规模急剧增大，事实表动辄千万到亿量级同时还有千万量级的维表，由于采用单节点的计算方式计算能力和资源都相对有限，单台服务器的性能会成为瓶颈甚至导致服务器崩溃。此外，如果每次查询都需要从原始数据中进行大量综合计算，会导致查询延迟过长，随着数据的不断积累，查询响应时间也会不断增加以至于超过用户所能忍受的等待时间。由此可见，传统的在线分析处理分析方法无法很好地适用于大数据分析场景的要求。因此，为了实现对海量数据的在线分析处理分析，需要一种性能稳定、高效的分布式OLAP方法及系统。

与传统在线分析处理方法不同，基于预运算的分布式OLAP分析方法及系统是在Hadoop的基础上采用集群并行计算的方式进行多维数据分析，从而极大提高在线分析处理能力，解决传统分析方法无法对海量数据进行高效分析处理的问题。此外，根据数据立方体的定义通过预先计算的方式对数据模型进行预构建来削减Hadoop环境中处理超过百亿行数据规模时的查询延迟时间，从而解决查询时间会随数据规模的不断增长而增加的问题。同时，为了更好地对预构建过程进行控制，还需要对构建任务进行监控和管理以便及时根据任务运行状态进行调整构建过程。

针对大数据应用分析场景的特点，充分利用大数据分布式计算技术和分布式存储技术，在分布式数据仓库的基础上，研究一种真正可靠、性能稳定、查询高效的基于预运算的分布式OLAP分析方法及系统，从而实现海量数据的高效可靠的在线分析处理是本发明的重点。

发明内容

本发明的目的在于克服传统在线分析处理分析技术的不足，提供了一种基于预运算的分布式OLAP分析方法及系统，充分利用Hadoop集群mapreduce框架的并行处理性能，通过预运算的方式将多维立方体的表连接、聚合运算等计算过程在用户查询之前提前进行计算并将计算结果缓存到分布式键值数据库存储系统中，从而提高多维查询的效率，提高OLAP分析系统的性能。

为实现上述目的，本发明所提供的技术方案，如下：