[发明专利]数据处理方法、装置、电子设备及存储介质

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

基于业务系统的多批历史业务数据训练得到双层集群性能模型；

使用遗传算法对所述双层集群性能模型进行迭代寻优得到目标集群配置参数；

根据所述目标集群配置参数生成配置文件，并将所述配置文件配置于分布式集群中；

响应于对所述业务系统的业务数据的处理指令，根据所述处理指令识别所述业务数据的处理类型；

通过所述分布式集群根据所述处理类型对所述业务数据进行处理，并将处理后的业务数据更新至所述分布式集群的预设数据库中。

2.如权利要求1所述的数据处理方法，其特征在于，所述基于业务系统的多批历史业务数据训练得到双层集群性能模型包括：

计算每批所述历史业务数据的数据大小；

获取所述分布式集群处理每批所述历史业务数据时的配置参数、应用类型及整体处理时间；

按照预设的分组策略对所述分布式集群处理每批所述历史业务数据的处理阶段进行分组，并计算每组的阶段处理时间；

将每批所述历史业务数据的数据大小及对应的所述配置参数、所述应用类型和每组的阶段处理时间作为模型的输入数据，将所述整体处理时间作为模型的训练目标；

根据所述模型的输入数据及所述模型的训练目标，基于梯度提升决策树算法进行训练，得到所述双层集群性能模型。

3.如权利要求2所述的数据处理方法，其特征在于，在所述使用遗传算法对所述双层集群性能模型进行迭代寻优得到目标集群配置参数之前，所述方法还包括：

判断所述应用类型的数量是否大于预设数量阈值；

当所述应用类型的数量大于或者等于所述预设数量阈值时，使用第一种群生成模型根据所述应用类型生成初始种群；

当所述应用类型的数量小于所述预设数量阈值时，使用第二种群生成模型根据所述应用类型生成所述初始种群；

在所述初始种群的基础上使用遗传算法对所述双层集群性能模型进行迭代寻优得到目标集群配置参数。

4.如权利要求3所述的数据处理方法，其特征在于，所述使用第一种群生成模型根据所述应用类型生成初始种群包括：

为每个所述应用类型随机生成第一标识或者生成第二标识；

根据所述第一标识或者所述第二标识对所述应用类型进行排列组合；

根据所有排列组合对应的应用类型及标识生成所述初始种群。

5.如权利要求3所述的数据处理方法，其特征在于，所述使用第二种群生成模型根据所述应用类型生成所述初始种群包括：

初始化比例值序列；

迭代读取所述比例值序列中的一个目标比例值，并从所述应用类型中随机选择所述目标比例值的目标应用类型；

为所述目标应用类型生成第一标识，及为其余应用类型生成第二标识；

将所述目标应用类型及对应的所述第一标识，所述其余应用类型及对应的所述第二标识确定为目标数据集；

根据所述比例值序列中的每个目标比例值对应的目标数据集生成所述初始种群。

6.如权利要求1至5中任意一项所述的数据处理方法，其特征在于，所述根据所述处理指令识别所述业务数据的处理类型包括：

获取距离所述业务数据的采集时间最近的目标历史业务数据；

将所述业务数据与所述目标历史业务数据进行逐字段及对应字段值的匹配；

当所述业务数据与所述目标历史业务数据中字段匹配成功但对应字段值匹配失败，则确定所述业务数据的处理类型为更新；

当所述业务数据中存在某个字段，但所述字段不在所述目标历史业务数据中，则确定所述业务数据的处理类型为新增；

当所述目标历史业务数据中存在某个字段，但所述字段不在所述业务数据中，则确定所述业务数据的处理类型为删除。