[发明专利]一种数据处理方法及装置

说明书

本发明实施例提供一种数据处理方法及装置，获取待处理数据，确定待处理数据的操作时间；基于操作时间，确定待处理数据是否为高频上传数据；若是，判断高频上传数据的记录值是否满足第一预设条件；若判断结果为是，将待处理数据存入存储器中，并判断存储器中的待处理数据量是否满足第二预设条件；若满足，分配一线程对存储器中的所有数据进行处理，并清空存储器。本方案可根据待处理数据的操作时间来确定数据频率，通过将满足条件的高频上传的待处理数据堆积在存储器中，当堆积到一定程度，启动一个线程对该些堆积的待处理数据进行统一处理，可极大降低数据处理的线程数，同时减少线程与数据库的连接建立次数，从而可缓解内存以及I/O资源。

技术领域

本发明涉及数据处理领域，尤其涉及一种数据处理方法及装置。

背景技术

目前，在涉及数据上传，需要进行计算处理的业务场景，往往会直接进行计算，即每条待处理数据都启动一个线程对其进行处理。例如，在网络质量实时监控的应用场景中，后台服务器实时接收各代理设备或节点服务器上传的网络质量数据后，可为每条网络质量数据分配线程对其进行处理，以实时更新和展示当前的网络质量状况。

然而，当数据上传的频率和密度较高时，后台服务器在高频接收数据的情况下，也需要高频地触发数据处理的机制以对上传数据进行处理。

对于如此高频的计算，往往存在如下问题：

1、内存损耗较大，会有大量性能消耗；

2、如果涉及到数据库的增删改操作，线程需要与数据库建立连接，可能会占用较大的数据库I/O资源。

因此，对于现有技术中的高频率的数据处理的场景，亟需一种缓解内存及I/O资源的数据处理方法。

发明内容

本发明实施例提供一种数据处理方法及装置，用以解决现有技术在高频率处理数据过程中所发生的巨大的内存损耗以及对I/O资源的占用问题。

第一方面，本发明实施例提供一种数据处理方法，该方法包括：获取待处理数据，确定所述待处理数据的操作时间；基于所述操作时间，确定所述待处理数据是否为高频上传数据；若是，则判断高频上传数据的记录值是否满足第一预设条件；若判断结果为是，则将所述待处理数据存入存储器中，并判断所述存储器中的待处理数据量是否满足第二预设条件；若满足，则分配一线程对所述存储器中的所有数据进行处理，同时清空所述存储器。

基于该方案，可根据待处理数据的操作时间来确定数据频率，通过将满足条件的高频上传的待处理数据堆积在存储器中，当堆积到一定程度时，启动一个线程对该些堆积的待处理数据进行统一处理，相比于对每条待处理数据都启动一个数据处理线程的方案，本方案可以极大降低数据处理的线程数，同时减少线程与数据库的连接建立次数，从而可缓解内存以及I/O资源。

在一种可能的实现方法中，若判断所述高频上传数据的记录值不满足第一预设条件，则更新所述高频上传数据的记录值，并分配一线程对所述待处理数据进行处理。

基于该方案，基于记录值是否满足第一预设条件来确定数据高频上传是否为持续现象，若为出现持续高频，则可进入堆积模式，若并非持续高频，则可正常处理，避免因过度堆积而造成数据处理不及时的问题。

在一种可能的实现方法中，若所述待处理数据不是高频上传数据，则将所述高频上传数据的记录值设为零，并分配一线程对所述待处理数据进行处理。

基于该方案，当数据上传频率下降时，可直接对待处理数据进行处理模式，并同时清空相应记录值，避免因过度堆积而造成数据处理不及时的问题。

在一种可能的实现方法中，所述基于所述操作时间，确定所述待处理数据是否为高频上传数据的方法包含：计算所述操作时间与上一条待处理数据的操作时间的差值；若所述差值小于或等于时间阈值，则确定所述待处理数据为高频上传数据；否则，确定所述待处理数据不是高频上传数据。