[发明专利]一种数据处理方法及系统

权利要求书

1.一种数据处理方法，其特征在于，包括：

根据获取的查询语句形成执行树，其中，所述执行树的每个树节点为一个算子；

遍历所述执行树上的算子获取各所述算子的分配策略，其中，所述分配策略根据设定的分配规则表中各类型的所述算子对应各处理器的性能参数确定，所述处理器包括异构处理器；

根据各所述算子的所述分配策略分别将各所述算子分配到处理器中，以使得所述处理器对分配到的所述算子执行计算；

其中，所述性能参数为性能分，或，所述性能参数为权重值和性能分；其中，所述权重值为所述性能分的权重，是根据影响性能因子确定的，所述影响性能因子为数据量、并行量、硬件型号、网络速度之中的至少一种。

2.根据权利要求1所述的方法，其特征在于，所述根据获取的查询语句形成执行树之前，还包括：

根据算子的类型得到各类型算子对应各处理器的性能参数；

将各类型算子对应各处理器的性能参数写入分配规则表，其中，所述算子的类型至少包括选择、投影和分组。

3.根据权利要求1所述的方法，其特征在于，还包括：

对所述性能分进行动态更新，其中，所述性能分的动态更新为根据一算子在各所述处理器上的运行速度进行归一化后的数值，更新分配规则表中各所述处理器对应所述算子的性能分。

4.根据权利要求1～3任一项所述的方法，其特征在于，

所述性能参数为所述权重值和所述性能分；

所述分配策略根据设定的分配规则表中各处理器对应各所述算子的性能参数确定包括：

分配策略根据设定的分配规则表中各所述处理器对应各所述算子的权重值和性能分的乘积，将乘积最高的所述权重值和所述性能分对应的处理器确定为所述算子的处理器。

5.根据权利要求1～3任一项所述的方法，其特征在于，所述根据各所述算子的所述分配策略分别将各所述算子分配到处理器中包括：

根据各所述算子的所述分配策略确定为各所述算子分配的所述处理器；

根据各所述处理器的载荷情况和/或各所述算子的可并行情况对为各所述算子分配的处理器进行调整。

6.根据权利要求5所述的方法，其特征在于，所述根据各所述算子的可并行情况对为各所述算子分配的处理器进行调整包括：

各所述算子中有至少两个算子为可并行计算的算子，则将所述至少两个算子分配到不同的所述处理器执行计算；或，

各所述算子中有至少两个算子为串行计算的算子，则将所述至少两个算子分配到同一个所述处理器执行计算；或，

各所述算子之间无关联，则将各所述算子分配到不同的所述处理器执行计算。

7.一种数据处理系统，其特征在于，包括：

执行树构建模块，用于根据获取的查询语句形成执行树，其中，所述执行树的每个树节点为一个算子；

分配模块，用于遍历所述执行树上的算子获取各所述算子的分配策略，其中，所述分配策略根据设定的分配规则表中各类型的所述算子对应各处理器的性能参数确定，所述处理器包括异构处理器；

执行模块，用于根据各所述算子的所述分配策略分别将各所述算子分配到处理器中，以使得所述处理器对分配到的所述算子执行计算；

其中，所述性能参数为性能分，或，所述性能参数为权重值和性能分；其中，所述权重值为所述性能分的权重，是根据影响性能因子确定的，所述影响性能因子为数据量、并行量、硬件型号、网络速度之中的至少一种。

8.根据权利要求7所述的系统，其特征在于，还包括：

获取模块，用于根据算子的类型得到各类型算子对应各处理器的性能参数；

分配规则表构建模块，用于将各类型算子对应各处理器的性能参数写入分配规则表，其中，所述算子的类型至少包括选择、投影和分组。