[发明专利]一种基于Spark的大规模分布式DataFrame的查询方法

说明书

本发明公开了一种基于Spark的大规模分布式DataFrame的查询方法，包括以下步骤：采用了基于分布式计算执行引擎Spark的系统框架，以DataFrame作为编程模型，Python作为编程语言；在该分布式系统中，通过封装Spark原生DataFrame的已有查询接口，消除了与主流单机DataFrame计算库Pandas的API的不兼容性；构建轻量级全局索引，针对不同情况提供多种分布式DataFrame查询的功能；构建局部索引和辅助索引，提高了查询的性能。本发明解决了现有单机平台DataFrame可扩展性不好，无法处理大规模数据，以及现有的大数据处理平台分布式DataFrame查询接口不丰富，易用性差，性能低的问题。

技术领域

本发明涉及分布式计算技术领域，尤其涉及一种基于Spark的大规模分布式DataFrame的查询方法。

背景技术

大数据分析应用中，基于表模型的结构化大数据分析处理，仍然是目前众多行业最基本的需求。DataFrame是一种在编程语言环境中易于使用的表数据编程模型，它对数据分析统计过程有良好的抽象，因而得到了广泛的关注。

传统的关系数据库提供了一种面向SQL查询的表数据模型，但是SQL查询需要在后台提供重量级(heavy-weighted)数据库系统和SQL查询引擎的支撑，加之SQL查询语言的复杂性，因此基于SQL的表数据模型在普通的数据分析编程语言环境中操作使用时仍然不够方便。

DataFrame编程模型弥补了SQL表模型的不足，提供了强大而易于使用的数据分析统计编程模型和功能，尤其是基于Python语言的Pandas编程计算框架，在金融等诸多应用领域被广泛关注和应用，成为了DataFrame的主流标准，特别是其提供了除SQL功能以外的灵活易用、功能强大的DataFrame查询特性，备受数据分析人员青睐。

然而，由于Pandas是基于单机和内存的，缺少可扩展性，不具备海量数据处理能力。当数据量超过内存规模，甚至完全无法运行。虽然出现了一些Pandas并行化计算平台如Dask，但由于其是轻量级的，在大规模数据处理性能和容错方面不太成熟。

主流的大数据处理系统Apache Spark能够在分布式环境下很好地处理大规模数据，具备良好的可扩展性，此外，Spark提供了分布式DataFrame编程框架，并基于DataFrame，为Spark中的机器学习库MLlib提供了良好的支撑。然而Spark DataFrame设计上与Pandas DataFrame存在接口不兼容的问题，尤其是Spark DataFrame不支持类PandasDataFrame灵活易用的查询特性，功能不够丰富强大。

发明内容

发明目的：为了解决Pandas DataFrame无法处理大规模数据和Spark现有分布式DataFrame编程模型缺乏灵活易用的查询功能的问题，本发明提供了一种基于Spark的大规模分布式DataFrame的查询方法，该方法可以高效地进行大规模分布式DataFrame的查询，包括基于位置和基于标签的查询，且提供了类Pandas DataFrame接口，解决了现有大数据处理平台下分布式DataFrame缺乏灵活易用的查询功能的问题，使得Spark DataFrame的功能更加丰富强大。

本发明的技术解决方案是：为了实现上述发明目的，本发明采用的技术方案为一种基于Spark的大规模分布式DataFrame的查询方法，包括以下步骤：

(1)采用Python作为编程语言，基于Spark分布式框架，将现有Spark分布式DataFrame的查询接口封装成类Pandas DataFrame的接口(如过滤查询接口filter)，消除Spark DataFrame查询API与Pandas DataFrame API的不兼容性；