[发明专利]一种基于分布模型下的大数据交叉索引方法

说明书

本发明公开了一种基于分布模型下的大数据交叉索引方法，包括：获取待分析处理数据及所述待分析处理数据对应的数据类型；根据所述数据类型对所述待分析处理数据进行聚类分析，得到若干个分类集合；根据所述若干个分类集合基于交叉索引技术建立分布模型。用递归的方式把所有维度与其他维度所关联，组织维度和维度之间的关系，迅速在各个维度之间建立交叉索引,其效率和速度大大提高，实现快速高效的查询和分析，而占用资源却大大降低。

技术领域

本发明涉及大数据处理技术领域，特别涉及一种基于分布模型下的大数据交叉索引方法。

背景技术

随着大数据的时代的到来,大数据技术发展迅猛,其中最为典型的变化是计算模式的丰富多样,由最初的批处理计算发展到后来的流计算,实时交互式计算等。但不同的计算框架的应用场景比较有限,批处理计算虽能轻松处理海量数据,但响应时间较长；与批处理不同,流式计算是一种连续计算的模式,能够快速响应用户事件；实时交互计算以一种交互式的方式实现大数据处理,也有着快速的响应速度。由于大数据应用场景越来越复杂,传统的单一计算框架模式不能很好的满足数据应用的要求。现在出现了一些关于混合系统的研究,旨在融合多种计算系统,统一大数据计算平台提供多种计算服务。

联机分析处理的概念最早由关系数据库之父E.F.Codd于1993年提出。Codd认为，联机事务处理已不能满足终端用户对数据库查询分析的要求，SQL对大容量数据库的简单查询也不能满足用户分析的需求。用户的决策分析需要对关系数据库进行大量的计算才能得到结果，而查询的结果并不能满足决策者提出的需求。因此，Codd提出了多维数据库和多维分析的概念，即OLAP。OLAP委员会对联机分析处理的定义为：使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互的存取，从而获得对数据更深入了解的一类软件技术。

联机分析处理的主要特点，是直接仿照用户的多角度思考模式，预先为用户组建多维的分布模型，在这里，维指的是用户的分析角度。例如对销售数据的分析，时间周期是一个维度，产品类别、分销渠道、地理分布、客户群类也分别是一个维度。一旦多维分布模型建立完成，用户可以快速地从各个分析角度获取数据，也能动态的在各个角度之间切换或者进行多角度综合分析，具有极大的分析灵活性。这也是联机分析处理被广泛关注的根本原因，它从设计理念和真正实现上都与旧有的数据处理系统有着本质的区别。

在数据量大的情况下，对表关联后再进行实时的聚合，group by，sum,count等操作，传统大数据分析和计算都是基于数据库索引，对所需的数据字段进行汇总计算，多个字段之间的关系没有任何处理和缓存，基于不同数据库的性能瓶颈，会需要较长的响应时间，特别是在Hadoop架构之上进行表之间的join关联操作,效率非常低,占用计算资源大,这在大数据时代,无法实时满足大数据计算和分析需要。

发明内容

本发明旨在至少一定程度上解决上述技术中的技术问题之一。为此，本发明的目的在于提出一种基于分布模型下的大数据交叉索引方法，用递归的方式把所有维度与其他维度所关联，组织维度和维度之间的关系，迅速在各个维度之间建立交叉索引,其效率和速度大大提高，实现快速高效的查询和分析，而占用资源却大大降低。

为达到上述目的，本发明实施例提出了一种基于分布模型下的大数据交叉索引方法，包括：

获取待分析处理数据及所述待分析处理数据对应的数据类型；

根据所述数据类型对所述待分析处理数据进行聚类分析，得到若干个分类集合；

根据所述若干个分类集合基于交叉索引技术建立分布模型。

根据本发明的一些实施例，所述根据所述若干个分类集合基于交叉索引技术建立分布模型，包括：

将每一个分类集合中的待分析处理数据分为用于分析的维度字段、用于对维度做描述的信息字段和用于统计分析的摘要字段；