[发明专利]基于Spark平台建立数据索引方法及数据查询方法

说明书

本发明提供一种基于Spark平台建立数据索引方法，包括，为数据表创建内存索引，该内存索引对应的索引表包括两个字段，两个字段分别表示索引字段，以及该索引字段对应的数据文件清单；扫描数据表下的所有数据文件，针对索引字段的每个值搜寻索引字段值出现在哪些数据文件中，将所有的索引字段值，数据文件清单键值对写入索引表中。本发明在生成内存索引数据时不再索引到文件的偏移量，仅仅索引到文件，索引表数据大大缩小，无需再分配额外的job去分布式并行处理，极大的提升查询性能。

技术领域

本发明涉及一种在数据处理系统上建立索引的方法，尤其涉及一种基于Spark平台建立数据索引方法以及数据查询方法。

背景技术

随着近20多年来计算技术的不断革新，企业积累了大量数据。数字传感器的进步使得通信系统越来越广泛的使用，尤其是移动平台和移动终端的飞速增长；系统运行产生的大量日志以及越来越多的企业采用无纸化办公的工作方式，这些情况都使得企业积攒了海量数据资源，数据规模已经增长到了传统软件无法承载的地步，并且随着人们对现代科技越来越多的依赖，数据将会以更快的速度增长下去。

在分析海量数据的场景下，单台服务器的处理能力已不能满足要求，于是企业就用多台计算机来并行处理这些海量数据，即采用分布式计算架构，典型的代表软件是hadoop、spark等。更准确的说，spark只是一个并行计算框架，而hadoop中包含计算框架MapReduce和分布式文件系统HDFS；Hadoop更广泛地说还包括在其生态系统上的其他系统，如Hbase、Hive等；而Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含Spark SQL、Spark Streaming、GraphX、MLlib等子项目，Spark是MapReduce的替代方案，性能提升近百倍，Spark SQL是Spark之上提供结构化数据SQL查询与分析的查询引擎，是MapReduce之上的Hive的替代方案。

Apache Spark是一种快速、通用、可扩展的大数据分析引擎。它是不断壮大的大数据分析解决方案家族中备受关注的明星成员，为分布式数据集的处理提供了一个有效框架，并以高效的方式处理分布式数据集。Spark集批处理、实时流处理、交互式查询与图计算于一体，避免了多种运算场景下需要部署不同集群带来的资源浪费。

Spark大数据处理平台在对数据进行分析计算前，首先要将数据文件从磁盘载入内存，而由于目前Spark大数据处理平台不支持对数据文件创建索引并使用索引快速定位要扫描的数据文件清单或者数据文件的一部分，因此，每次计算时都要载入全部的数据文件到内存，造成了大量磁盘IO；而绝大多数情况下，用户对大量数据进行查询时都要指定筛选条件，以便得到自己关心的较少量的查询结果，因此不包含筛选内容的数据文件或数据块无需载入内存扫描。

发明内容

本发明的目的在于提供一种基于Spark平台建立数据索引方法，在生成内存索引数据时不再索引到文件的偏移量，仅仅索引到文件，索引表数据大大缩小，无需再分配额外的job去分布式并行处理，极大的提升查询性能。

本发明提供的基于Spark平台建立数据索引方法，包括：(1)为数据表创建内存索引，该内存索引对应的索引表包括两个字段，两个字段分别表示索引字段，以及该索引字段对应的数据文件清单；(2)扫描数据表下的所有数据文件，针对索引字段的每个值搜寻索引字段值出现在哪些数据文件中，将所有的索引字段值，数据文件清单键值对写入索引表中。

为方便快捷地数据查询，所述步骤(2)中，按照索引字段值的升序或降序将键值对写入索引表中。

本发明重新设计SparkSQL中的内存索引创建机制，生成的索引表只有索引字段的值、文件清单两列，索引表按照索引字段的值升序或降序排序，索引表数据相对于现有技术缩小了许多。