[发明专利]数据分析方法、装置、终端及存储介质

说明书

技术领域

本发明涉及数据处理技术领域，具体涉及一种数据分析方法、装置、终端及存储介质。

背景技术

目前的商业智能分析技术普遍基于传统二维表数据库，通过在传统数据库上使用group by，sum，avg等SQL函数的方式来做数据的分布和聚合运算。根据传统数据库的数据存储和实现方式，主要是根据表的索引，做表的扫描和乘积，以投影灯运算的方式来计算出数据的分布和聚合结果。现有的数据分析方法进行数据的分布和聚合运算的性能偏低，需要较长时间才能获得需要的结果。

发明内容

鉴于以上内容，有必要提出一种数据分析方法、装置、终端及存储介质，其可以提高数据的分布和聚合运算的性能，快速得到数据分析结果。

本申请的第一方面提供一种数据分析方法，应用于终端，所述数据分析方法包括：

建立并存储原始数据的搜索引擎存储结构，所述搜索引擎存储结构包括以文档结构存储的原始数据及对所述原始数据的分词关键字建立的倒排索引，所述分词关键字通过对所述原始数据进行分词处理获得；

接收到对所述原始数据进行分布和/或聚合运算的指令后，确定需要检索的关键字和需要获取的数据；

从所述倒排索引中查找与所述需要检索的关键字匹配的索引信息；

从所述文档结构的原始数据中读取与所述索引信息匹配的文档；

从所述文档中读取所述需要获取的数据；

对读取的数据进行所述分布和/或聚合计算，得到计算结果；

输出所述计算结果。

另一种可能的实现方式中，所述方法还包括：

在进行所述分布和/或聚合计算时，将检索到的每条数据的关键字作为索引缓存在结果集中；

接收二次分析指令，所述二次分析指令指定二次分析关键字；

根据所述二次分析指令对所述结果集中的数据进行过滤，留下关键字中包含所述二次分析关键字的数据；

对过滤后的结果进行聚合计算，得到二次分析结果。

另一种可能的实现方式中，所述原始数据是二维表数据库，所述建立原始数据的搜索引擎存储结构是根据所述二维表数据库建立原始数据的搜索引擎存储结构。

另一种可能的实现方式中，所述对原始数据进行分词处理包括：

对所述二维数据库的字段进行分词处理。

另一种可能的实现方式中，所述输出所述计算结果包括：

通过图表输出所述计算结果。

本申请的第二方面提供一种数据分析装置，所述装置包括：

建立单元，用于建立并存储原始数据的搜索引擎存储结构，所述搜索引擎存储结构包括以文档结构存储的原始数据及对所述原始数据的分词关键字建立的倒排索引，所述分词关键字通过对所述原始数据进行分词处理获得；

确定单元，用于接收到对所述原始数据进行分布和/或聚合运算的指令后，确定需要检索的关键字和需要获取的数据；

数据获取单元，用于从所述倒排索引中查找与所述需要检索的关键字匹配的索引信息，从所述文档结构的原始数据中读取与所述索引信息匹配的文档，从所述文档中读取所述需要获取的数据；

计算单元，用于对读取的数据进行所述分布和/或聚合计算，得到计算结果；

数据单元，用于输出所述计算结果。

另一种可能的实现方式中，所述装置还包括：

二次分析单元，用于在进行所述分布和/或聚合计算时，将检索到的每条数据的关键字作为索引缓存在结果集中；接收二次分析指令，所述二次分析指令指定二次分析关键字；根据所述二次分析指令对所述结果集中的数据进行过滤，留下关键字中包含所述二次分析关键字的数据；对过滤后的结果进行聚合计算，得到二次分析结果。

另一种可能的实现方式中，所述原始数据是二维表数据库，所述建立原始数据的搜索引擎存储结构是根据所述二维表数据库建立原始数据的搜索引擎存储结构。

本申请的第三方面提供一种终端，所述终端包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现所述数据分析方法的步骤。

本申请的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述数据分析方法的步骤。