[发明专利]大数据实时分析方法、装置、计算设备及计算机存储介质

说明书

本发明公开了一种大数据实时分析方法、装置、计算设备及计算机存储介质，其中，大数据实时分析方法基于第一查询工具和第二查询工具而执行，该方法包括：在第二查询工具中创建数据源，并在数据源中写入原始数据；在第一查询工具中创建数据表，设置数据表的数据源参数为第二查询工具，并配置第二查询工具的地址信息；当接收到对数据表的查询请求时，第一查询工具对查询请求进行解析，生成逻辑执行计划；第一查询工具根据逻辑执行计划，对查询请求进行处理。根据本发明提供的技术方案，实现了对第一查询工具和第二查询工具的整合，能够有效地利用第二查询工具的聚合分析能力，提高了数据查询效率。

技术领域

本发明涉及互联网技术领域，具体涉及一种大数据实时分析方法、装置、计算设备及计算机存储介质。

背景技术

在大数据时代的背景下，数据量级往往能够达到PB级甚至更高，因此如何对大数据进行实时分析是一个极具挑战的问题。大数据实时分析应该满足如下要求：支持标准SQL规范；查询延迟控制在毫秒级至秒级的范围内。其中，实时分析中比较典型的两个场景为聚合查询和过滤检索查询。现有技术中已有许多如Hive和Kylin等的大数据分析工具，然而这些工具仅能够分别满足上述部分要求，无法满足上述所有要求。以Hive为例，虽然能够支持标准SQL规范，但其对于聚合查询和过滤检索查询的查询延迟为分钟级，无法满足大数据实时分析对于查询延迟的要求。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的大数据实时分析方法、装置、计算设备及计算机存储介质。

根据本发明的一个方面，提供了一种大数据实时分析方法，该方法基于第一查询工具和第二查询工具而执行，该方法包括：

在第二查询工具中创建数据源，并在数据源中写入原始数据；

在第一查询工具中创建数据表，设置数据表的数据源参数为第二查询工具，并配置第二查询工具的地址信息；

当接收到对数据表的查询请求时，第一查询工具对查询请求进行解析，生成逻辑执行计划；

第一查询工具根据逻辑执行计划，对查询请求进行处理。

根据本发明的另一方面，提供了一种大数据实时分析装置，该装置包括：第一查询工具和第二查询工具；其中，第一查询工具包括：第一创建模块、生成模块和处理模块；第二查询工具包括：第二创建模块；

第二创建模块适于：在第二查询工具中创建数据源，并在数据源中写入原始数据；

第一创建模块适于：在第一查询工具中创建数据表，设置数据表的数据源参数为第二查询工具，并配置第二查询工具的地址信息；

生成模块适于：当接收到对数据表的查询请求时，对查询请求进行解析，生成逻辑执行计划；

处理模块适于：根据逻辑执行计划，对查询请求进行处理。

根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；

存储器用于存放至少一可执行指令，可执行指令使处理器执行上述大数据实时分析方法对应的操作。

根据本发明的再一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述大数据实时分析方法对应的操作。