[发明专利]对并行运算进行性能消耗优化分析的方法及装置

权利要求书

1.一种对并行运算进行性能消耗优化分析的方法，其特征在于，包括：

对并行运算任务数据执行数据切分操作，得到至少两个子数据块；

确定对所述子数据块执行的并行处理操作所对应的性能消耗信息；

根据所述性能消耗信息分析得到所述并行运算任务数据对应的目标性能信息；

根据所述目标性能信息确定并行运算对应的性能优化策略。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标性能信息确定并行运算对应的性能优化策略，包括：

确定所述数据切分操作对应的物理内存使用信息；

根据所述物理内存使用信息确定物理内存目标值；

根据所述物理内存目标值与所述目标性能信息确定并行运算对应的性能优化策略。

3.根据权利要求2所述的方法，其特征在于，所述确定所述数据切分操作对应的物理内存使用信息，包括：

确定与每个所述子数据块对应的所述数据切分操作对物理内存进行使用时的内存使用峰值，最小内存使用值以及平均内存使用值；

根据所有所述内存使用峰值中数值最大的内存使用峰值，得到分配给所述数据切分操作的切分内存使用值。

4.根据权利要求1所述的方法，其特征在于，在所述确定对所述子数据块执行的并行处理操作所对应的性能消耗信息之前，还包括：

确定所述子数据块将数据形式转换后的中间数据进行暂存时溢出缓存区的最大溢出数据量；其中，所述缓存区为物理内存中用于缓存所述转换后子数据块的区域；

根据所述最大溢出数据量以及所述缓存区的大小得到对应的实际溢出比例；

根据所述实际溢出比例以及预设的缓冲区设置策略，确定所述缓冲区的使用上限阈值；以在所述缓冲区中缓存的数据量超过所述使用上限阈值后，将所述缓冲区中缓存的数据写入磁盘中。

5.根据权利要求1所述的方法，其特征在于，所述确定对所述子数据块执行的并行处理操作所对应的性能消耗信息，包括：

确定各个所述子数据块执行存储操作时采用的处理线程；其中，所述处理线程至少包括两个；

分别确定各个所述处理线程在对所述子数据块执行所述存储操作时的数据处理信息；

根据所述数据处理信息得到所述性能消耗信息。

6.根据权利要求5所述的方法，其特征在于，所述分别确定各个所述处理线程在对所述子数据块执行所述存储操作时的数据处理信息，包括：

获取各个所述处理线程执行所述存储操作时的线程数据处理量；

确定各个所述线程数据处理量与所述子数据块之间的数据量关系；

当存在超过预设的差量阈值的所述数据量关系时，判断所述处理线程存在数据倾斜，并得到数据倾斜信息。

7.根据权利要求5所述的方法，其特征在于，

所述分别确定各个所述处理线程在对所述子数据块执行所述存储操作时的数据处理信息，还包括：

获取各个所述处理线程进行所述存储操作时对应的处理时长；

所述根据所述目标性能信息确定并行运算对应的性能优化策略，包括：

获取各个所述处理线程在完成所述存储操作之后，进行数据清空时对应的垃圾回收耗时；

在所述垃圾回收耗时与所述处理时长之间的差值满足预设要求时，生成对垃圾收集器进行增加内存的内存增加信息；其中，所述垃圾收集器用于执行数据清空操作。