[发明专利]一种数据处理方法及装置

摘要

本发明公开了一种数据处理方法及装置，用以解决现有技术的分布式数据系统计算效率低的问题。该方法为一个节点服务器针对一个数据处理指令进行数据处理过程中，可以从至少一个数据源中获取待处理数据，将获取的待处理数据并拆分，并将拆分后的多个部分待处理数据，以及数据处理指令对应的查询计划分布至多个节点服务器(包含所述节点服务器)，实现分布式关联计算，因此，该方法可以将原来由一个节点服务器处理的待处理数据的计算压力分解到多个节点服务器上，实现了节点服务器的计算能力的横向扩展，且节点服务器可以从多个数据源中获取待处理数据，使其计算能力不受限于数据源的I/O能力，提高了分布式数据系统的计算效率。

主权项

一种数据处理方法，其特征在于，包括：第一节点服务器接收到数据处理指令后，根据所述数据处理指令生成查询计划，并将所述查询计划发送至至少一个第二节点服务器，所述查询计划用于指示所述第一节点服务器以及所述至少一个第二节点服务器对待处理数据的进行处理；所述第一节点服务器根据所述查询计划，确定所述待处理数据所处的至少一个数据源，并从所述至少一个数据源中获取所述待处理数据；所述第一节点服务器获取所述待处理数据的分布规则，并按照所述分布规则，对所述待处理数据进行拆分，生成多个部分待处理数据；以及将所述多个部分待处理数据分布至所述第一节点服务器和所述至少一个第二节点服务器中；所述第一节点服务器根据所述查询计划以及分布至自身的部分待处理数据，生成第一运算结果；所述第一节点服务器获取所述至少一个第二节点服务器中每个第二节点服务器的第二运算结果，其中，任意一个第二节点服务器的第二运算结果为所述第二节点服务器根据所述查询计划以及分布至所述第二节点服务器的部分待处理数据生成的；所述第一节点服务器根据所述第一运算结果和所述每个第二节点服务器的第二运算结果，确定所述数据处理指令对应的运算结果。