[发明专利]一种实现复杂数据处理的方法、装置及系统

说明书

本发明公开了一种实现复杂数据处理的方法，用于实现复杂数据的分析、处理，该方法包括：对包含代码符号和宏参数的伪结构化查询语言SQL脚本进行解析，生成可执行SQL脚本；将可执行SQL脚本发送到各个数据库服务器，以使数据库服务器对可执行SQL脚本进行执行，生成中间执行结果；获取各个数据库服务器的中间执行结果，对中间执行结果进行计算生成复杂数据处理结果。本发明还公开了一种实现复杂数据处理的装置及系统。

技术领域

本发明涉及数据处理技术领域，具体涉及一种实现复杂数据处理的方法、装置及系统。

背景技术

目前，随着信息技术的不断发展，数据库技术也随之发展，各种应用所产生的数据不断增加。一般一个应用程序所产生的数据可以按照区域保存在不同的数据库服务器中，一个数据库服务器中可以有若干个数据库，数据库中可以有多个数据表，数据表中还可以有分表。

在现有技术中，由于数据源分别存放于多个不同的服务器中，数据存放复杂，当一个应用程序需要进行数据处理或者数据分析时，则需要分别针对每个服务器进行单独的指定分析任务的开发工作，再分别对不同服务器的分析结果进行汇总，获得最终的数据分析结果。但是，现有技术中对复杂数据处理的方法，对数据分析、处理任务的开发投入高、时间长，数据处理效率较低。

发明内容

有鉴于此，本发明的主要目的是提供一种实现复杂数据处理的方法、装置及系统，以解决现有技术中处理复杂数据效率较低的问题。

为解决上述问题，本发明提供的技术方案如下：

一种实现复杂数据处理的方法，所述方法包括：

对包含代码符号和宏参数的伪结构化查询语言SQL脚本进行解析，生成可执行SQL脚本；

将所述可执行SQL脚本发送到各个数据库服务器，以使所述数据库服务器对所述可执行SQL脚本进行执行，生成中间执行结果；

获取所述各个数据库服务器的中间执行结果，对所述中间执行结果进行计算生成复杂数据处理结果。

相应的，所述对包含代码符号和宏参数的伪SQL脚本进行解析，生成可执行SQL脚本，包括：

对包含代码符号的伪SQL脚本进行解析，获得每个数据库服务器对应的子SQL脚本以及SQL属性；

对所述子SQL脚本中包含的宏参数进行替换，生成可执行SQL脚本。

相应的，所述将所述可执行SQL脚本发送到各个数据库服务器，包括：

根据所述SQL属性，将所述可执行SQL脚本发送到对应的数据库服务器，所述SQL属性包括所述可执行SQL脚本对应的数据库服务器信息、数据库信息以及数据表信息。

相应的，所述方法还包括：

将所述复杂数据处理结果发送至结果数据库服务器进行存储。

一种实现复杂数据处理的装置，所述装置包括：

解析单元，用于对包含代码符号和宏参数的伪结构化查询语言SQL脚本进行解析，生成可执行SQL脚本；

第一发送单元，用于将所述可执行SQL脚本发送到各个数据库服务器，以使所述数据库服务器对所述可执行SQL脚本进行执行，生成中间执行结果；

计算单元，用于获取所述各个数据库服务器的中间执行结果，对所述中间执行结果进行计算生成复杂数据处理结果。

相应的，所述解析单元包括：

解析子单元，用于对包含代码符号的伪SQL脚本进行解析，获得每个数据库服务器对应的子SQL脚本以及SQL属性；