[发明专利]一种数据处理方法、装置及存储介质

说明书

本申请实施例提供了一种数据处理方法、装置及存储介质，所述方法包括：获取待处理的多个第一目标数据；若检测到内存数据库不可用，以及在非内存数据库中未存储有与所述第一目标数据相同的数据，则将所述第一目标数据作为待恢复的第二目标数据，以及将所述第二目标数据存储至所述非内存数据库；若检测到所述内存数据库不可用，以及在所述非内存数据库中存储有与所述第一目标数据相同的数据，则基于所述非内存数据库对所述第一目标数据进行去重处理，以及将所述去重处理后的第一目标数据作为待恢复的第二目标数据，存储至所述非内存数据库。本申请实施例可以达到满足数据去重处理高效性要求的同时，保证数据去重处理的可靠性。

技术领域

本申请涉及大数据处理技术领域，尤其涉及一种数据处理方法、装置及存储介质。

背景技术

近年来，随着互联网的普及，数据应用场景日益复杂，网络数据呈指数级增长，庞大的数据量对于如何进行数据的高效处理是个重大考验。在一些应用领域，需要对数据进行去重处理，而需要去重处理的数据通常具有数据量大的特点，需要高效并且安全的进行处理，因此，如何满足数据去重处理高效性要求的同时，保证数据去重处理的可靠性，成为技术人员需要考虑的问题。

发明内容

本申请提供一种数据处理方法、装置及存储介质，满足数据去重处理高效性要求的同时，保证数据去重处理的可靠性。

第一方面，本申请实施例提供了一种数据处理方法，所述方法包括：

获取待处理的多个第一目标数据；

若检测到内存数据库不可用，以及在非内存数据库中未存储有与所述第一目标数据相同的数据，则将所述第一目标数据作为待恢复的第二目标数据，以及将所述第二目标数据存储至所述非内存数据库；

若检测到所述内存数据库不可用，以及在所述非内存数据库中存储有与所述第一目标数据相同的数据，则基于所述非内存数据库对所述第一目标数据进行去重处理，以及将所述去重处理后的第一目标数据作为待恢复的第二目标数据，存储至所述非内存数据库。

第二方面，本申请实施例提供了一种数据处理装置，所述装置包括：

获取模块，用于获取待处理的多个第一目标数据；

处理模块，用于若检测到内存数据库不可用，以及在非内存数据库中未存储有与所述第一目标数据相同的数据，则将所述第一目标数据作为待恢复的第二目标数据，以及将所述第二目标数据存储至所述非内存数据库；

若检测到所述内存数据库不可用，以及在所述非内存数据库中存储有与所述第一目标数据相同的数据，则基于所述非内存数据库对所述第一目标数据进行去重处理，以及将所述去重处理后的第一目标数据作为待恢复的第二目标数据，存储至所述非内存数据库。

第三方面，本申请实施例提供了一种电子设备，包括：

处理器；以及，

被安排成存储计算机可执行指令的存储器，所述可执行指令被配置由所述处理器执行，所述可执行指令包括用于执行上述数据处理方法中的步骤。

第四方面，本申请实施例提供了一种存储介质，所述存储介质用于存储计算机可执行指令，所述可执行指令使得计算机执行上述数据处理方法。