[发明专利]数据补采方法、装置、计算机设备及存储介质

说明书

本发明涉及数据补采方法、装置、计算机设备及存储介质，属于网络技术领域。所述方法包括：确定待补充数据；待补充数据根据第一状态位图确定，第一状态位图用于表征数据的存在状态；获取与第一状态位图对应的终端标识信息；根据待补充数据以及终端标识信息，生成补采任务；根据补采任务，向第一采集端发送补采控制指令；补采控制指令用于控制第一采集端按照补采任务获取对应的补采数据。上述技术方案，解决了数据补采效率较低的问题。根据状态位图确定待补充数据，不需要逐个进行存储数据的访问就能快速生成补采任务，有效提高数据补采的效率。

技术领域

本发明涉及网络技术领域，特别是涉及数据补采方法、装置、计算机设备及存储介质。

背景技术

采集端往往需要将所采集的数据传送给处理终端、处理端等进行处理端数据处理。但是，数据的传送过程容易受环境干扰的影响，同时，部分采集端存在运行任务排队导致数据遗失的问题，这就使得处理端所获取的数据并不是100％可靠。这是就需要对没有上送或采集的数据进行再次采集，即进行补采。

在实现本发明过程中，发明人发现传统方式中至少存在如下问题：传统数据补采单纯依赖数据库逐一统计数据的缺点，建立与采集端的映射关系，组成补采任务，进而实现数据补采。这样的补采方式不仅过程复杂，而且对于处理端接入大量采集端或者需要接收海量数据的情况，建立数量庞大的补采任务需要花费大量的时间，这就使得数据补采效率较低。

发明内容

基于此，本发明实施例提供了数据补采方法、装置、计算机设备及存储介质，能有效提高数据补采效率。

本发明实施例的内容如下：

第一方面，本发明实施例提供一种数据补采方法，包括以下步骤：确定待补充数据；所述待补充数据根据第一状态位图确定，所述第一状态位图用于表征数据的存在状态；获取与所述第一状态位图对应的终端标识信息；根据所述待补充数据以及所述终端标识信息，生成补采任务；根据所述补采任务，向第一采集端发送补采控制指令；所述补采控制指令用于控制所述第一采集端按照所述补采任务获取对应的补采数据。

在一个实施例中，所述确定待补充数据的步骤之前，还包括：在接收到补采触发指令时，通过扫描内存库中的第一内存库文件，得到所述第一状态位图；其中，所述内存库为按照内存的存储方式进行数据存储的数据库。

在一个实施例中，所述获取第一状态位图的步骤之前，还包括：接收第二采集端发送的终端任务数据；所述终端任务数据中携带有时间信息以及所述第二采集端的终端类型；根据所述终端类型和所述时间信息，建立第二内存库文件。

在一个实施例中，所述终端任务数据中还携带有所述第二采集端的终端地址；所述根据所述终端类型和所述时间信息，建立第二内存库文件的步骤之后，还包括：对所述第二采集端的终端地址运行Hash算法，得到记录标识；判断是否存在与所述终端任务数据对应的采集数据；根据判断结果，确定对应的第二状态位图；根据所述记录标识在所述第二内存库文件中记录所述第二状态位图。

在一个实施例中，所述根据所述补采任务，向第一采集端发送补采控制指令的步骤之后，还包括：接收第一采集端发送的补采数据；所述补采数据中携带有终端地址；根据补采数据中携带的终端地址，定位并修改所述内存库中对应的状态位图。

在一个实施例中，所述接收第二采集端发送的终端任务数据的步骤，包括：接收第二采集端通过消息队列发送的终端任务数据。

在一个实施例中，所述向第一采集端发送补采控制指令的步骤，包括：通过消息队列向第一采集端发送补采控制指令。

在一个实施例中，所述终端标识信息包括终端类型以及终端地址；所述根据所述待补充数据以及所述终端标识信息，生成补采任务的步骤，包括：根据所述待补充数据、所述终端类型以及所述终端地址，生成所述补采任务。