[发明专利]数据分析方法、设备及存储介质

说明书

本申请实施例提供一种数据分析方法、设备和介质。该方法包括:从收到的查询请求中解析得到多个分析维成员以及多个分析维成员之间的运算关系；根据运算关系对多个位图块计算，得到针对目标维成员的计算结果。其中，多个位图块与解析得到的多个分析维成员分别对应，位图块中的每一个指示位与目标维度的每一个目标维成员一一对应，所述指示位的取值用于指示目标维成员对应的结构化数据中是否包含所述位图块对应的分析维成员。采用上述技术方案中的方法，在解析得到多个分析维成员之后，查找到多个分析维成员各自对应的多个位图块所耗费的时间更短，从而缩短了OLAP服务器响应查询请求的时间。

技术领域

本申请涉及联机实时分析技术领域，具体涉及一种数据分析方法、设备及存储介质。

背景技术

在大数据时代，单张表的数据量都是以十亿级、百亿级甚至兆级计。传统数据库基于关系模型，通过多张能互相联接的二维行列表格来组织数据，故而当数据量非常巨大时，利用结构化查询语言(Structured Query Language，SQL)来访问存储有海量数据的传统数据库，传统数据库无法秒级响应用户的查询请求，往往需要数分钟甚至更长的响应时间。

相比于关系模型，多维数据模型赋予了数据新的组织和存储形式，满足用户从多角度、多层次作数据查询和分析的需要。多维数据模型包括至少一个维度(Dimension)，每个维度包括至少一个维成员(Member)。多维数据模型基本的应用是为了实现联机实时分析(Online Analytical Processing,OLAP)。

OLAP技术在多维数据模型的基础上实现面向分析的各类操作，使用户可以从不同角度观察数据，同时能够在数秒内快速响应用户的查询请求。多维联机实时分析系统(Multi-dimensional OLAP，MOLAP)是OLAP的经典使用模式之一，代表有麒麟(kylin)系统等。MOLAP利用多维数据模型对原始数据作预加工，将预加工的结果存储为数据立方(cube)，以便能够秒级响应用户的查询请求。

具体地，在预加工时，首先，针对采用多维数据模型存储的数据中的n个维度，将这n个维度进行组合；然后，针对每一种维度组合方式，列出该维度组合方式下所有的维成员组合方式；再根据指标对数据作计算，例如去重计算、去重计数计算等，得到与每一种维成员组合方式对应的计算结果。将一种维度组合方式下所有的计算结果存储为一个数据长方体(cuboid)；所有的cuboid就构成了一个cube。由于OLAP技术分析的数据量往往非常大，因而整个cube所占用的物理存储空间很大，需要单独被存储在存储系统(例如，hbase系统等)中。在查询时，在获取用户输入的查询请求之后，在存储系统中根据查询请求从匹配的cuboid中查找对应的计算结果，再从存储系统中获取对应计算结果，最后反馈给用户，从而完成一次查询请求的响应工作。在获取用户的查询请求之前，cube已经构建好，通过这种以空间换取时间的方式，可以秒级响应查询请求。

在利用OLAP技术作查询的过程中，发明人发现其至少存在以下问题：当维度或部分维度的维成员数量较多时，查询请求的响应时间较长。

发明内容

为了解决上述技术问题，本申请提供一种数据分析方法、设备和介质，用于缩短查询请求的响应时间。

第一方面，本申请提供一种数据分析方法，包括:

从收到的查询请求中解析得到多个分析维成员以及所述多个分析维成员之间的运算关系；其中，所述分析维成员是其对应的分析维度的维成员，所述分析维度是多维数据模型中除目标维度之外的维度，所述多维数据模型包括至少两个分析维度，在采用所述多维数据模型存储的结构化数据中，每一条所述结构化数据包括一个目标维成员和至少两个分析维成员；