[发明专利]数据处理方法及装置

说明书

本说明书实施例提供数据处理方法及装置，所述方法包括确定历史数据库中历史查询记录对应的至少两个查询模板，从备份数据库中确定与每个查询模板对应的初始查询记录；获取所述初始查询记录在预设并行度下的平均cpu占用率和查询耗时，将所述初始查询记录在预设并行度下的平均cpu占用率和查询耗时通过预设算法，计算所述每个查询模板对应的评估函数；基于所述每个查询模板对应的评估函数以及所述至少两个查询模板在所述历史数据库中不同并行度下的历史查询记录，确定所述至少两个查询模板的损失值；基于所述损失值确定所述至少两个查询模板中每个查询模板对应的目标并行度，使得进行数据查询时既可以提高查询的速度，又可以避免资源耗尽的情况发生。

技术领域

本说明书实施例涉及计算机技术领域，特别涉及一种数据处理方法。

背景技术

在进行数据处理时，并行处理的并行度的设置会直接影响到计算速度和资源的消耗程度。一个不合理的并行度设置不但会影响用户的体验，还可能引发很严重的后果，比如：非常小的并行度设置会导致数据查询缓慢；非常大的并行度设置会使得资源耗尽，导致不可服务。因此急需提供一种既可以提高数据查询的速度，又尽可能避免资源耗尽的并行度的数据处理方法。

发明内容

有鉴于此，本说明书施例提供了计算机技术领域，特别涉及一种数据处理方法。本说明书一个或者多个实施例同时涉及一种数据处理装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面，提供了一种数据处理方法，包括：

确定历史数据库中历史查询记录对应的至少两个查询模板，从备份数据库中确定与每个查询模板对应的初始查询记录；

获取所述初始查询记录在预设并行度下的平均cpu占用率和查询耗时，将所述初始查询记录在预设并行度下的平均cpu占用率和查询耗时通过预设算法，计算出所述每个查询模板对应的评估函数；

基于所述每个查询模板对应的评估函数，以及所述至少两个查询模板在所述历史数据库中不同并行度下的历史查询记录，确定所述至少两个查询模板的损失值；

基于所述损失值确定所述至少两个查询模板中每个查询模板对应的目标并行度。

根据本说明书实施例的第二方面，提供了一种数据处理装置，包括：

模板确定模块，被配置为确定历史数据库中历史查询记录对应的至少两个查询模板，从备份数据库中确定与每个查询模板对应的初始查询记录；

计算模块，被配置为获取所述初始查询记录在预设并行度下的平均cpu占用率和查询耗时，将所述初始查询记录在预设并行度下的平均cpu占用率和查询耗时通过预设算法，计算出所述每个查询模板对应的评估函数；

损失值确定模块，被配置为基于所述每个查询模板对应的评估函数，以及所述至少两个查询模板在所述历史数据库中不同并行度下的历史查询记录，确定所述至少两个查询模板的损失值；

并行度确定模块，被配置为基于所述损失值确定所述至少两个查询模板中每个查询模板对应的目标并行度。

根据本说明书实施例的第三方面，提供了一种计算设备，包括：

存储器和处理器；

所述存储器用于存储计算机可执行指令，该计算机可执行指令被处理器执行时实现上述数据处理方法的步骤。

根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，该计算机可执行指令被处理器执行时实现上述数据处理方法的步骤。

根据本说明书实施例的第五方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述数据处理方法的步骤。