[发明专利]数据处理方法和装置、电子设备及计算机可读存储介质

说明书

本申请实施例提供的数据处理方法和装置、电子设备及计算机可读存储介质，涉及数据处理技术领域。首先，根据多个线程的线程IO时间、线程CPU时间和对应的CPU数目，计算得到包括所述多个线程的线程池大小。其次，根据所述线程池大小对所述多个线程进行异步处理。通过上述方法，可以提高数据处理的效率。

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种数据处理方法和装置、电子设备及计算机可读存储介质。

背景技术

在绝大多数的软件项目中都有定时生成报表、文件、计算结果等批处理任务，在业务逻辑复杂或业务链较长时，数据库查询并行执行等待时间较久，系统性能闲置比较严重，在数据量巨大的情况下可能会出现周期内处理不完的情况。

因此，经发明人研究发现，在现有技术中进行同步查询资源闲置严重，从而存在着数据处理的效率低的问题。

发明内容

有鉴于此，本申请的目的在于提供一种数据处理方法和装置、电子设备及计算机可读存储介质，以改善现有技术中存在的问题。

为实现上述目的，本申请实施例采用如下技术方案：

一种数据处理方法，包括：

根据多个线程的线程IO时间、线程CPU时间和对应的CPU数目，计算得到包括所述多个线程的线程池大小；

根据所述线程池大小对所述多个线程进行异步处理。

在本申请实施例较佳的选择中，所述根据所述线程池大小对所述多个线程进行异步处理的步骤，包括：

根据所述线程池大小计算得到进行线程处理的数量阈值；

根据所述数量阈值对所述多个线程分别进行异步处理。

在本申请实施例较佳的选择中，所述根据所述数量阈值对所述多个线程分别进行异步处理的步骤，包括：

判断所述多个线程的数量是否大于所述数量阈值；

若所述多个线程的数量大于所述数量阈值，则根据所述数量阈值对所述多个线程进行分组处理，得到多个线程组，并分别对每个线程组进行异步处理；

若所述多个线程的数量不大于所述数量阈值，则直接对所述多个线程进行异步处理。

在本申请实施例较佳的选择中，所述根据所述线程池大小对所述多个线程进行异步处理的步骤，包括：

通过预设的Future模型和CountDownLatch组件根据所述线程池大小对所述多个线程进行异步处理。

在本申请实施例较佳的选择中，所述根据多个线程的线程IO时间、线程CPU时间和对应的CPU数目，计算得到包括所述多个线程的线程池大小的步骤，包括：

根据多个线程的线程IO时间平均值、线程CPU时间平均值和对应的CPU数目，计算得到包括所述多个线程的线程池大小。

在本申请实施例较佳的选择中，所述多个线程包括第一线程，所述根据多个线程的线程IO时间、线程CPU时间和对应的CPU数目，计算得到包括所述多个线程的线程池大小的步骤，包括：

根据所述第一线程的线程IO时间、线程CPU时间和多个线程对应的CPU数目，计算得到包括所述多个线程的线程池大小。

在本申请实施例较佳的选择中，在计算得到包括所述多个线程的线程池大小之前，所述数据处理方法还包括：

获取多个线程的线程IO时间、线程CPU时间和对应的CPU数目。

本申请实施例还提供了一种数据处理装置，包括：