[发明专利]一种基于预运算的分布式OLAP分析方法及系统

摘要

本发明公开了一种基于预运算的分布式OLAP分析方法及系统，主要是在分布式数据仓库基础上构建数据模型，根据数据模型定义数据立方体；对给定的数据立方体启动预运算任务，以并行计算的方式进行立方体预构建，将结果保存到分布式键值存储系统中；将多维分析操作经过一系列步骤转换为对数据立方体的key‑value查询操作，从构建好的立方体中直接获取分析结果，并将结果以丰富多样的图表形式展现；同时利用NoSQL对OLAP查询操作进行缓存优化。本发明充分发挥了Hadoop平台强大的处理性能，进行数据立方体预构建，克服了传统方法每次查询都需要从原始数据中进行大量计算导致查询缓慢的问题，从而提高OLAP分析效率和系统性能。

主权项

一种基于预运算的分布式OLAP分析方法，其特征在于：首先，在服务器集群上搭建Hadoop平台，在HDFS基础上构建分布式数据仓库；然后基于分布式数据仓库选择事实表和关联一组维表构建数据模型，根据数据模型定义数据立方体；再对给定的数据立方体启动数据立方体预运算任务，将作业提交到Hadoop集群中运行进行数据立方体预构建，并在构建过程中对作业运行情况进行实时监控，及时掌握作业运行状态，将计算好的中间结果保存到分布式键值存储系统中供后续分析查询；而后将用户多维操作转换为MDX语句并提交，根据MDX语句进行缓存检查，如果查询结果命中则直接返回结果集，否则，执行MDX查询语句，将MDX查询转换为SQL进行查询；接着将SQL生成的执行计划转换为对数据立方体的key‑value查询操作；最后，分布式键值存储系统根据查询操作返回查询结果集，并将结果集以数据表或者图表的形式返回给用户。