[发明专利]一种数据处理系统及方法

说明书

本申请实施例提供了一种数据处理系统及方法，数据处理系统包括：交互分析服务模块、调度服务模块和计算模块；交互分析服务模块接收各个客户端发送的数据请求，对接收的数据请求包括的处理逻辑进行处理，得到任务集，将得到的任务集缓存至任务集队列；主调度服务模块从任务集队列中获取任务集，将获取的任务集发送至计算模块；计算模块对接收的任务集进行计算，得到计算结果，将得到的计算结果发送给主调度模块；主调度服务模块对接收的计算结果进行封装，得到结果集，将得到的结果集缓存至结果集队列；交互分析服务模块从结果集队列中获取结果集，将获取的结果集发送给对应的客户端。应用本申请实施例，能够提高数据交互分析处理的并发性。

技术领域

本申请涉及大数据处理技术领域，特别是涉及一种数据处理系统及方法。

背景技术

目前，传统数据分析处理采用分布式框架，屏蔽掉后端复杂的数据处理实现和千差万别的接口，为用户提供统一标准SQL(Structured Query Language，结构化查询语言)来操作数据平台，给用户带来了良好的用户体验。

在大数据处理领域，分布式架构诸如批处理系统MapReduce、内存计算引擎Spark、分布式数据库Hbase、以及流式处理框架Storm等都有着自己的编程模型。分布式架构的使用，对于用户来说，学习成本高、业务无法平滑迁移。因而近年来开始构建与传统数据分析处理类似的交互式分析处理。诸如SQL On Hadoop系统中的Hive、Impala、Phoenix以及Spark生态的Spark SQL等架构就是该类兴起技术。在交互式分析处理架构中，数据以表的形式存在。交互式分析处理架构提供标准的SQL接口，能够达到高并发、低延迟的线上分析效果。

然而，上述交互式分析处理架构在实际应用场景中效果不够理想，其中并发支持度是瓶颈之一。原因是当前大数据交互分析处理架构的SQL解析、分析、优化以及计划生成及评估等阶段的交互分析服务都在单个节点上进行，这制约了高并发特性。因此需要一种新型处理架构解决该瓶颈实现高并发的交互分析需求。

发明内容

本申请实施例的目的在于提供一种数据处理系统及方法，以提高数据交互分析处理的并发性。具体技术方案如下：

为实现上述目的，本申请实施例提供了一种数据处理方法，应用于数据处理系统，所述数据处理系统包括：多个交互分析服务模块、多个调度服务模块和多个计算模块；所述方法包括：

所述多个交互分析服务模块接收各个客户端发送的数据请求；对接收的数据请求包括的处理逻辑进行处理，得到任务集；将得到的任务集缓存至任务集队列；

所述多个调度服务模块中的主调度服务模块从所述任务集队列中获取任务集；将获取的任务集发送至所述多个计算模块；

所述多个计算模块对接收的任务集进行计算，得到计算结果；将得到的计算结果发送给所述主调度模块；

所述主调度服务模块对接收的计算结果进行封装，得到结果集；将得到的结果集缓存至结果集队列；

所述多个交互分析服务模块从所述结果集队列中获取结果集；将获取的结果集发送给对应的客户端。

可选的，所述多个交互分析服务模块对接收的数据请求包括的处理逻辑进行处理，得到任务集，包括：

所述多个交互分析服务模块对接收的数据请求包括的处理逻辑进行SQL解析与优化、计划生成和资源预估处理，得到处理结果；对得到的处理结果进行序列化和封装，得到任务集。

可选的，所述多个交互分析服务模块将得到的任务集缓存至任务集队列，包括：

所述多个交互分析服务模块获取接收的数据请求所包括的处理逻辑的属性信息，将得到的任务集与获取的属性信息对应的缓存至任务集队列。

可选的，所述属性信息包括优先级；