[发明专利]一种大数据分布式实时查询方法及系统

摘要

本发明公开了一种大数据分布式实时查询方法及系统，主要将实时查询处理流程定义成一个包含多个执行阶段的查询计划树，复杂度低的查询计划树在独立的线程中并行的执行；对复杂度高的查询计划树分配多个操作线程，并以分布式云服务器集群的形式并行的处理多个执行阶段；分布式实时查询系统对各服务器的查询结果集整合并返回最终结果，同时利用NOSQL对数据查询操作进行缓存优化。本发明充分利用了实时查询云服务器的处理性能，突破了单一服务器的性能瓶颈，同时避免了服务器与HDFS数据节点之间多余的数据访问，从而提高分布式实时查询的效率。

主权项

一种大数据分布式实时查询方法，其特征在于：首先，将通过SQL APP和ODBC/JDBC得到的查询语句和查询脚本文件进行解析和分析，如果是查询脚本文件则将其分割为多个查询语句分别进行处理，对于单个查询语句则通过关键字进行划分，随后查询协调器将划分的各个部分用不同的节点表示不同的操作，然后根据节点的执行顺序生成基本的查询计划树，查询计划树的根节点是用于汇聚结果并返回，而查询计划树的叶子节点为Scan操作，用于获取相关表数据，对于复杂度低的查询计划树，主服务器将为查询计划树分配一个或多个线程进行处理，分配了多个线程的节点成为并行查询计划树，处理并行查询计划树即启动多个线程同时工作，仅包含单线程的查询计划树将是单方向进行处理，而对于复杂度高的查询计划树，选择以分布式集群的方式执行，集群由云平台上搭建的分布式实时查询服务器组成，包括一台主服务器和多台子服务器，系统会对基本的查询计划树进行分布式修改，group by&local agg之下包括自身的子节点都能够在各个子服务器上的查询组件上分布式执行，而之上的只能在查询协调器上处理，因此将查询计划树划分成多个查询阶段，并且每个查询阶段将会被分配到相应的子服务器的查询组件上进行处理，在每个查询组件都处理完得到相应查询结果集后，都会汇聚到查询协调器进行处理，包括对相关节点数据进行Aggregation以及进行order by和limit处理，得到最终的结果并返回。