[发明专利]数据处理方法、装置、设备及存储介质

说明书

本申请实施例提供了一种数据处理方法、装置、设备及存储介质，涉及大数据技术领域。该方法包括：对于离线处理的目标周期的目标字段对应的数据，确定目标周期的上一周期的数据中是否存在该目标字段；若目标周期的上一周期的数据中不存在该目标字段，则将目标周期的该目标字段对应的数据回写至在线数据库；若目标周期的上一周期的数据中存在该目标字段，则确定在目标周期与目标周期的上一周期中该目标字段对应的数据是否相同；若不相同，则将目标周期的该目标字段对应的数据回写至该在线数据库。本申请实施例的技术方案能够显著减少向在线数据库写入的数据量，提高在线数据库的操作性能。

技术领域

本申请涉及大数据技术领域，尤其涉及一种数据处理方法、数据处理装置、数据处理设备以及计算机可读存储介质。

背景技术

随着互联网技术的飞速发展，业务系统需要处理的数据量也呈指数级增长，如何高效处理日益增长的海量数据成为了关注的焦点。

对于海量的数据，仅依赖在线业务系统进行处理，会导致严重的性能问题。在一种技术方案中，通过离线处理平台对数据进行处理，将处理后的离线数据回写到在线数据库。然而，在这种技术方案中，随着离线数据量的增大，在线数据库的存储占用也会越来越大，造成在线数据库的操作性能下降。

发明内容

本申请实施例的目的是提供一种数据处理方法、数据处理装置、数据处理设备以及计算机可读存储介质，以解决随着离线数据量的增大造成在线数据库的操作性能下降的问题。

为解决上述技术问题，本申请实施例是这样实现的：

根据本申请实施例的第一方面，提供了一种数据处理方法，包括：对于离线处理的目标周期的目标字段对应的数据，确定所述目标周期的上一周期的数据中是否存在所述目标字段；若所述目标周期的上一周期的数据中不存在所述目标字段，则将所述目标周期的所述目标字段对应的数据回写至在线数据库；若所述目标周期的上一周期的数据中存在所述目标字段，则确定在所述目标周期与所述上一周期中所述目标字段对应的数据是否相同；若不相同，则将所述目标周期的所述目标字段对应的数据回写至所述在线数据库。

在本申请的一些实施例中，基于上述方案，所述数据处理方法还包括：若确定在所述目标周期与所述上一周期中所述目标字段对应的数据相同，则增加所述目标周期的所述目标字段对应的数据的未回写周期；判断增加后的所述目标字段对应的数据的未回写周期是否大于等于预定阈值；若大于等于所述预定阈值，则将所述目标周期的所述目标字段对应的数据回写至所述在线数据库。

在本申请的一些实施例中，基于上述方案，所述数据处理方法还包括：在将所述目标周期的所述目标字段对应的数据回写至所述在线数据库之前，将所述目标周期的所述目标字段对应的数据的未回写周期重置为零。

在本申请的一些实施例中，基于上述方案，所述数据处理方法还包括：若从所述在线数据库查询预定周期的所述目标字段对应的数据，则确定在所述预定周期是否回写了所述目标字段对应的数据；若未回写所述目标字段对应的数据，则将所述预定周期之前最近周期的已回写的所述目标字段对应的数据作为所述预定周期的所述目标字段对应的数据。

在本申请的一些实施例中，基于上述方案，所述数据处理方法还包括：

若从所述在线数据库查询预定时间区间的所述目标字段对应的数据，则基于查询到的周期的所述目标字段对应的数据来补齐未查询到的周期的所述目标字段对应的数据。

在本申请的一些实施例中，基于上述方案，确定所述目标周期的上一周期的数据中是否存在所述目标字段，包括：判断所述目标周期的上一周期对应的数据表中是否存在所述目标字段对应的主键；若存在所述目标字段对应的主键，则确定所述目标周期的上一周期的数据中存在所述目标字段。

在本申请的一些实施例中，基于上述方案，所述目标字段为数据表的主键。