[发明专利]数据处理方法、装置、电子设备及介质

说明书

本发明涉及大数据，提供一种数据处理方法、装置、电子设备及介质。该方法在检测到待处理数据属于大数据时，生成待处理任务并拆分，得到子任务及执行顺序，生成子任务的识别码并确定子任务的目标服务器，将子任务依次发送至目标服务器中，当接收到目标服务器发送的反馈数据包时，监测目标服务器处理子任务时的指标参数，并动态调整目标服务器处理子任务的实时线程数量，当接收到目标服务器发送的响应数据包时，根据执行顺序整合响应数据包，得到目标结果。本发明不仅能够使目标服务器的资源被合理利用，还能够提高子任务的处理效率，以提高待处理任务的处理效率，适用于科技金融领域。此外，本发明还涉及区块链技术，目标结果可存储于区块链中。

技术领域

本发明涉及大数据技术领域，尤其涉及一种数据处理方法、装置、电子设备及介质。

背景技术

目前，为了提高企业的核心竞争力，企业通常会对日常服务过程中产生的业务数据进行分析，如通过研究业务数据以帮助企业确定用户需求，进而便于企业作出合适的决策。

在现有方案中，企业往往直接调用线程池中所有闲置线程对业务数据进行分析处理，然而，由于线程池中的线程数量有限，为此，在面对海量的业务数据时，无法对业务数据进行快速分析，严重影响了业务的进展。

发明内容

鉴于以上内容，有必要提供一种数据处理方法、装置、电子设备及介质，不仅能够使服务器的资源被合理利用，还能够提高子任务的处理效率，从而提高待处理任务的处理效率。

一种数据处理方法，所述数据处理方法包括：

当接收到数据处理请求时，检测所述数据处理请求对应的待处理数据是否属于大数据；

当检测到所述待处理数据属于所述大数据时，根据所述待处理数据生成待处理任务；

拆分所述待处理任务，得到多个子任务及所述多个子任务的执行顺序，并生成每个子任务的识别码；

根据每个子任务的识别码确定每个子任务对应的目标服务器，并将每个子任务依次发送至对应的目标服务器中；

当接收到每个目标服务器发送的反馈数据包时，监测每个目标服务器处理每个子任务时的指标参数；

根据所述指标参数动态调整每个目标服务器处理每个子任务的实时线程数量；

当接收到每个目标服务器发送的响应数据包时，根据所述执行顺序整合所述响应数据包，得到目标结果。

根据本发明优选实施例，所述检测所述数据处理请求对应的待处理数据是否属于大数据包括：

确定所述待处理数据的总数据量，并检测所述总数据量是否大于第一预设阈值；

获取所述待处理数据的数据类型；

确定所述数据类型的类型总量，并检测所述类型总量是否大于第二预设阈值；

当检测到所述总数据量大于所述第一预设阈值，或者所述类型总量大于所述第二预设阈值时，确定所述待处理数据属于所述大数据。

根据本发明优选实施例，所述封装所述待处理数据，得到待处理任务包括：

确定所述待处理数据所属的业务类型，得到第一类型；

封装所述待处理数据及所述第一类型，得到所述待处理任务。

根据本发明优选实施例，所述拆分所述待处理任务，得到多个子任务及所述多个子任务的执行顺序，并生成每个子任务的识别码包括：

解析所述待处理任务的报文头，得到所述待处理任务对应的第二类型；

根据所述第二类型从配置库中获取目标规则，所述目标规则包括多个执行指令；