[发明专利]一种面向Spark-Sql检索的元数据实时更新方法

权利要求书

1.一种面向Spark Sql检索的元数据实时增量更新方法，其特征在于，包括以下步骤：

1)在Spark Sql进行检索时，将被检索的数据块的文件元数据以集合的形式进行缓存；

2)获得文件元数据的增量信息，包括：

在Spark Sql框架启动时，同时启动一个附属的Http服务，用于监听和接收有关SparkSql文件元数据增加的请求，该请求中附带新增的文件元数据的信息；当该Http服务接收到增加Spark Sql文件元数据的Http请求后，从接收到的请求中解析出所要新增的文件元数据的信息；

在数据文件的加载过程中，记录加载行为对文件元数据所造成的变换；在加载结束后，对文件元数据是否变化进行判断，若判断导致文件元数据出现了变化，则向所述Http服务发送相应的增加Spark Sql文件元数据的请求，并附带上所记录的文件元数据的变化情况，以使被检索数据的文件元数据能够在数据文件加载过程中进行实时增量更新；

3)当获得文件元数据的增量信息时，检查该增量信息所属的表的文件元数据是否存在于缓存之中，若存在，则将增量信息中的文件元数据增加至缓存的文件元数据的集合之中，从而完成Spark Sql检索的文件元数据的增量更新。

2.一种使用Spark Sql进行检索的方法，其特征在于，在数据文件加载过程中，采用权利要求1所述的方法对Spark Sql检索的元数据进行实时的增量更新，用以提高Spark Sql检索结果的实时性和响应速度。