[发明专利]一种数据处理系统及方法

权利要求书

1.一种数据处理方法，其特征在于，应用于数据处理系统，所述数据处理系统包括：多个交互分析服务模块、多个调度服务模块和多个计算模块；所述方法包括：

所述多个交互分析服务模块接收各个客户端发送的数据请求；对接收的数据请求包括的处理逻辑进行处理，得到任务集；将得到的任务集缓存至任务集队列，所述任务集队列中缓存有优先级与任务集的对应关系；

所述多个调度服务模块中的主调度服务模块基于所述对应关系，按照优先级从高到低的顺序，遍历并获取所述任务集队列中的各个任务集；将获取的任务集拆分为多份，发送至所述多个计算模块；

所述多个计算模块对接收的任务集进行计算，得到计算结果；将得到的计算结果发送给所述主调度服务模块；

所述主调度服务模块对接收的计算结果进行封装，得到结果集；将得到的结果集缓存至结果集队列；

所述多个交互分析服务模块从所述结果集队列中获取结果集；将获取的结果集发送给对应的客户端。

2.根据权利要求1所述的方法，其特征在于，所述多个交互分析服务模块对接收的数据请求包括的处理逻辑进行处理，得到任务集，包括：

所述多个交互分析服务模块对接收的数据请求包括的处理逻辑进行结构化查询语言SQL解析与优化、计划生成和资源预估处理，得到处理结果；对得到的处理结果进行序列化和封装，得到任务集。

3.根据权利要求1所述的方法，其特征在于，所述多个交互分析服务模块将得到的任务集缓存至任务集队列，包括：

所述多个交互分析服务模块获取接收的数据请求所包括的处理逻辑的属性信息，将得到的任务集与获取的属性信息对应的缓存至任务集队列。

4.根据权利要求1所述的方法，其特征在于，所述主调度服务模块按照优先级从高到低的顺序，遍历并获取所述任务集队列中的各个任务集，包括：

所述主调度服务模块按照优先级从高到低的顺序，遍历所述任务集队列中的各个任务集，并判断任务集所需的计算资源是否超过所述多个计算模块中当前剩余的计算资源；若否，则从所述任务集队列中获取该任务集；若是，则将该任务集缓存至所述任务集队列中与该任务集的优先级相同的所有任务集之后。

5.根据权利要求1所述的方法，其特征在于，所述主调度服务模块从所述任务集队列中获取任务集，包括：

所述主调度服务模块遍历所述任务集队列中的各个任务集，获取未被标记为已调度的任务集；

在所述主调度服务模块获取未被标记为已调度的任务集之后，还包括：

所述主调度服务模块将获取的任务集标记为已调度。

6.根据权利要求1所述的方法，其特征在于，所述主调度服务模块从所述任务集队列中获取任务集，包括：

所述主调度服务模块遍历所述任务集队列中的各个任务集，获取未被标记为终止的任务集的任务集；

所述方法还包括：

所述多个交互分析服务模块若在将得到的任务集缓存至任务集队列的预设时长后，检测到所述结果集队列中不存在获取的任务集所对应的结果集，则将获取的任务集标记为终止。

7.根据权利要求1所述的方法，其特征在于，所述数据处理系统还包括：删除模块；所述方法还包括：

所述删除模块检测所述结果集队列中是否存在缓存时长达到第一预设时长的第一结果集；若存在，删除所述第一结果集；或者，

所述删除模块检测所述结果集队列中是否存在最后一次访问至当前时刻的时长达到第二预设时长的第二结果集；若存在，删除所述第二结果集。

8.根据权利要求1所述的方法，其特征在于，所述多个交互分析服务模块对接收的数据请求包括的处理逻辑进行处理，得到任务集，包括：

所述多个交互分析服务模块检测结果集队列中是否存在接收的数据请求所包括的处理逻辑对应结果集；若不存在，则对接收的数据请求包括的处理逻辑进行数据处理，得到任务集。