[发明专利]一种基于Spark的大规模分布式DataFrame的查询方法

摘要

本发明公开了一种基于Spark的大规模分布式DataFrame的查询方法，包括以下步骤：采用了基于分布式计算执行引擎Spark的系统框架，以DataFrame作为编程模型，Python作为编程语言；在该分布式系统中，通过封装Spark原生DataFrame的已有查询接口，消除了与主流单机DataFrame计算库Pandas的API的不兼容性；构建轻量级全局索引，针对不同情况提供多种分布式DataFrame查询的功能；构建局部索引和辅助索引，提高了查询的性能。本发明解决了现有单机平台DataFrame可扩展性不好，无法处理大规模数据，以及现有的大数据处理平台分布式DataFrame查询接口不丰富，易用性差，性能低的问题。

主权项

1.一种基于Spark的大规模分布式DataFrame的查询方法，包括以下步骤：(1)采用Python作为编程语言，基于Spark分布式平台，将Spark原生DataFrame的查询接口封装成类Pandas DataFrame接口，以消除与Pandas DataFrame API的不兼容性；(2)基于Spark分布式平台，构建轻量级全局索引，利用轻量级全局索引实现大规模DataFrame上的基于位置的点、切片、列表查询，通过遍历Spark RDD所有分区实现基于标签的点、切片、列表查询，且API与Pandas DataFrame兼容；(3)进一步基于分布式内存数据库Redis，构建辅助索引，优化基于标签的切片查询的性能；(4)进一步在Spark RDD每个分区构建局部索引，基于共享内存对象数据库Plasma Store进行索引的存储，优化Spark RDD分区查询的性能。