[发明专利]一种数据处理方法及装置

权利要求书

1.一种数据处理方法，其特征在于，包括：

第一节点服务器接收到数据处理指令后，根据所述数据处理指令生成查询计划，并将所述查询计划发送至至少一个第二节点服务器，所述查询计划用于指示所述第一节点服务器以及所述至少一个第二节点服务器对待处理数据的进行处理；

所述第一节点服务器根据所述查询计划，确定所述待处理数据所处的至少一个数据源，并从所述至少一个数据源中获取所述待处理数据；

所述第一节点服务器获取所述待处理数据的分布规则，并按照所述分布规则，对所述待处理数据进行拆分，生成多个部分待处理数据；以及将所述多个部分待处理数据分布至所述第一节点服务器和所述至少一个第二节点服务器中；

所述第一节点服务器根据所述查询计划以及分布至自身的部分待处理数据，生成第一运算结果；

所述第一节点服务器获取所述至少一个第二节点服务器中每个第二节点服务器的第二运算结果，其中，任意一个第二节点服务器的第二运算结果为所述第二节点服务器根据所述查询计划以及分布至所述第二节点服务器的部分待处理数据生成的；

所述第一节点服务器根据所述第一运算结果和所述每个第二节点服务器的第二运算结果，确定所述数据处理指令对应的运算结果。

2.如权利要求1所述的方法，其特征在于，所述第一节点服务器根据所述查询计划，确定所述待处理数据所处的至少一个数据源，包括：

所述第一节点服务器获取所述查询计划中包括的所述至少一个数据源的标识；

所述第一节点服务器根据所述至少一个数据源的标识，确定对应的所述至少一个数据源。

3.如权利要求1或2所述的方法，其特征在于，所述第一节点服务器从所述至少一个数据源中获取所述待处理数据，包括：

所述第一节点服务器根据存储的元数据连接所述至少一个数据源，所述元数据包括所述至少一个数据源的连接信息；

所述第一节点服务器根据所述查询计划，获取所述至少一个数据源中的所述待处理数据。

4.如权利要求3所述的方法，其特征在于，所述第一节点服务器根据所述查询计划，获取所述至少一个数据源中的所述待处理数据，包括：

所述第一节点服务器获取所述查询计划中包括的所述待处理数据的描述信息；

所述第一节点服务器根据所述待处理数据的描述信息，从所述至少一个数据源中获取所述待处理数据。

5.如权利要求1-4任一项所述的方法，其特征在于，所述第一节点服务器获取所述分布规则，包括：

所述第一节点服务器根据所述查询计划中包含的关联条件，生成所述分布规则；或者

所述第一节点服务器获取存储的所述分布规则。

6.如权利要求1-5任一项所述的方法，其特征在于，所述第一节点服务器根据所述第一运算结果和所述每个第二节点服务器的第二运算结果，确定所述数据处理指令对应的运算结果，包括：

所述第一节点服务器对所述第一运算结果和所述每个第二节点服务器的第二运算结果进行数据聚合或排序处理，生成所述数据处理指令对应的运算结果。

7.如权利要求1-6任一项所述的方法，其特征在于，所述数据处理指令为结构化查询语言SQL指令。

8.一种数据处理方法，其特征在于，包括：

第二节点服务器接收第一节点服务器发送的查询计划和部分待处理数据；

所述第二节点服务器根据所述查询计划以及所述部分待处理数据，生成所述第二运算结果；

所述第二节点服务器将所述第二运算结果发送至所述第一节点服务器。