[发明专利]数据采集方法、装置、电子设备及存储介质

说明书

本发明公开了一种数据采集方法、装置、电子设备及存储介质。该方法包括：获取客户端上传的原始数据，将所述客户端上传的原始数据存储至第一备份数据表；对所述客户端上传的原始数据进行第一数据质量控制，得到第一质控处理数据；将所述第一质控处理数据传输至消息队列，从所述消息队列中调取数据，并对调取的数据进行第二数据质量控制，得到第二质控处理数据；将所述第二质控处理数据存储至第二备份数据表，并将所述第二质控处理数据存入目标数据库。上述技术方案，通过增加第一备份数据表和第二备份数据表，使数据在传输和处理过程的数据得到备份，从而防止数据丢失的情况发生。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据采集方法、装置、电子设备及存储介质。

背景技术

在大批量数据采集情况下，存在大宗数据的消费事务处理的堆积，造成队列堵塞后性能变慢，事务长时间未处理会被自动清理，导致数据丢包现象发生。

现有数据采集处理方案如图1所示，数据库采用分库设计，数据库包括PG(postgresql)数据库和oracle数据库两种，PG数据库和oracle数据库两个事务是异步的，无法做到两个事务步调一致，经常会出现数据在PG数据库事务处理完毕，实现数据质控和存储，但数据无法落到oracle数据库中的情况，并且通过redis队列处理机制消耗大量的内存空间，在事务不及时处理的情况下会导致内存溢出和服务器宕机，发生数据丢失。

在实现本发明的过程中，发明人发现现有技术中至少存在以下技术问题：现有数据采集方案，存在数据丢失的问题。

发明内容

本发明提供了一种数据采集方法、装置、电子设备及存储介质，增加了备份数据表，以防止数据丢失。

根据本发明的一方面，提供了一种数据采集方法，包括：

获取客户端上传的原始数据，将所述客户端上传的原始数据存储至第一备份数据表；

对所述客户端上传的原始数据进行第一数据质量控制，得到第一质控处理数据；

将所述第一质控处理数据传输至消息队列，从所述消息队列中调取数据，并对调取的数据进行第二数据质量控制，得到第二质控处理数据；

将所述第二质控处理数据存储至第二备份数据表，并将所述第二质控处理数据存入目标数据库。

根据本发明的另一方面，提供了一种数据采集装置，包括：

第一数据备份模块，用于获取客户端上传的原始数据，将所述客户端上传的原始数据存储至第一备份数据表；

第一数据质控模块，用于对所述客户端上传的原始数据进行第一数据质量控制，得到第一质控处理数据；

第二数据质控模块，用于将所述第一质控处理数据传输至消息队列，从所述消息队列中调取数据，并对调取的数据进行第二数据质量控制，得到第二质控处理数据；

第二数据备份模块，用于将所述第二质控处理数据存储至第二备份数据表，并将所述第二质控处理数据存入目标数据库。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的数据采集方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的数据采集方法。