[发明专利]数据处理方法、装置、电子设备及介质

权利要求书

1.一种数据处理方法，其特征在于，所述数据处理方法包括：

当接收到数据处理请求时，检测所述数据处理请求对应的待处理数据是否属于大数据；

当检测到所述待处理数据属于所述大数据时，根据所述待处理数据生成待处理任务；

拆分所述待处理任务，得到多个子任务及所述多个子任务的执行顺序，并生成每个子任务的识别码；

根据每个子任务的识别码确定每个子任务对应的目标服务器，并将每个子任务依次发送至对应的目标服务器中；

当接收到每个目标服务器发送的反馈数据包时，监测每个目标服务器处理每个子任务时的指标参数；

根据所述指标参数动态调整每个目标服务器处理每个子任务的实时线程数量，包括：当所述指标参数为CPU利用率时，检测所述CPU利用率是否超过预设标准阈值，当所述CPU利用率未超过所述预设标准阈值时，计算所述预设标准阈值与所述CPU利用率之间的差值，并根据所述CPU利用率以及预设数量，计算当前每个线程的平均CPU利用率，根据所述差值以及所述平均CPU利用率，确定待增加的线程的第一数量，将所述第一数量加上所述预设数量的运算结果确定为所述目标服务器处理所述多个子任务的实时线程数量；或者当所述指标参数为CPU负载时，检测所述CPU负载是否超过预设负载阈值，当所述CPU负载超过所述预设负载阈值时，计算所述CPU负载与所述预设负载阈值之间的差值，并获取每个线程的最大负载值，根据所述差值以及所述最大负载值，确定待增加的线程的第二数量，将所述第二数量加上所述预设数量的运算结果确定为所述目标服务器处理所述多个子任务的实时线程数量；

当接收到每个目标服务器发送的响应数据包时，根据所述执行顺序整合所述响应数据包，得到目标结果。

2.如权利要求1所述的数据处理方法，其特征在于，所述检测所述数据处理请求对应的待处理数据是否属于大数据包括：

确定所述待处理数据的总数据量，并检测所述总数据量是否大于第一预设阈值；

获取所述待处理数据的数据类型；

确定所述数据类型的类型总量，并检测所述类型总量是否大于第二预设阈值；

当检测到所述总数据量大于所述第一预设阈值，或者所述类型总量大于所述第二预设阈值时，确定所述待处理数据属于所述大数据。

3.如权利要求1所述的数据处理方法，其特征在于，所述根据所述待处理数据生成待处理任务包括：

确定所述待处理数据所属的业务类型，得到第一类型；

封装所述待处理数据及所述第一类型，生成所述待处理任务。

4.如权利要求1所述的数据处理方法，其特征在于，所述拆分所述待处理任务，得到多个子任务及所述多个子任务的执行顺序，并生成每个子任务的识别码包括：

解析所述待处理任务的报文头，得到所述待处理任务对应的第二类型；

根据所述第二类型从配置库中获取目标规则，所述目标规则包括多个执行指令；

依据所述目标规则拆分所述待处理任务，得到所述多个子任务，并将所述待处理任务的拆分顺序确定为所述执行顺序，所述多个子任务与所述多个执行指令相对应；

获取与每个执行指令对应的标签，并将获取到的标签作为每个子任务的标签；

融合每个子任务的标签及每个子任务的执行顺序，得到每个子任务的识别码。

5.如权利要求1所述的数据处理方法，其特征在于，所述根据每个子任务的识别码确定每个子任务对应的目标服务器包括：

对于任意子任务，确定与所述任意子任务的识别码对应的多个空闲服务器；

获取所述多个空闲服务器的服务器参数，并获取与所述服务器参数相同的多个非空闲服务器；

确定所述多个非空闲服务器的处理速率，并以确定的多个处理速率作为所述多个空闲服务器的处理速率；

从所述多个空闲服务器的处理速率中选取最大的处理速率，作为目标处理速率；

将所述目标处理速率对应的空闲服务器确定为所述任意子任务对应的目标服务器。