[发明专利]数据处理方法、装置、系统及存储介质

说明书

本申请提供一种数据处理方法、装置、系统及存储介质，该方法，包括：对待更新数据进行时间戳包装，得到包装后的数据；将所述包装后的数据存入缓存空间中；根据预设周期，遍历所述缓存空间，获取所述缓存空间中所述包装后的数据的时间戳所对应的时间；若所述包装后的数据的时间戳所对应的时间小于当前时间，则将所述包装后的数据写入数据库中。本申请可以在不改变数据库配置的前提下，适应高频次的数据更新，保证数据库的稳定性，降低数据库的硬件成本。

技术领域

本申请涉及大数据技术领域，尤其涉及一种数据处理方法、装置、系统及存储介质。

背景技术

随着数据处理量的不断增加，需要通过数据库对数据进行存储管理。在一些业务较为复杂或者用户较多的场景中，经常需要对数据进行频繁的更新处理。每一次更新变动，都会向数据库提交一次数据，然后由数据库对提交的数据进行清洗和存储处理。

目前，一般采用提高数据库自身配置的方式来适应数据的频繁更新，或者通过异步处理的方式来抑制数据库的数据处理峰值。

但是，上述方式不能降低数据更新的频率，导致对数据库的配置和吞吐量的要求较高。

发明内容

本申请提供一种数据处理方法、装置、系统及存储介质，可以在不改变数据库配置的前提下，适应高频次的数据更新，保证数据库的稳定性，降低数据库的硬件成本。

第一方面，本申请实施例提供一种数据处理方法，包括：

对待更新数据进行时间戳包装，得到包装后的数据；

将所述包装后的数据存入缓存空间中；

根据预设周期，遍历所述缓存空间，获取所述缓存空间中所述包装后的数据的时间戳所对应的时间；

若所述包装后的数据的时间戳所对应的时间小于当前时间，则将所述包装后的数据写入数据库中。

在一种可选的设计中，所述对待更新数据进行时间戳包装，得到包装后的数据，包括：

在所述待更新数据中添加起始时间点和有效时间段，得到所述包装后的数据；其中，所述起始时间点包括：数据生成时间，或数据上一次的更新时间；所述有效时间段包括：数据不变更的上限时间。

在一种可选的设计中，将所述包装后的数据存入缓存空间中，包括：

获取所述待更新数据的数据标识；

若所述缓存空间中存在所述数据标识对应的数据，则将所述包装后的数据覆盖缓存空间中所述数据标识对应的数据；

若所述缓存空间中不存在所述数据标识对应的数据，则将所述包装后的数据存入所述缓存空间中。

在一种可选的设计中，获取所述缓存空间中所述包装后的数据的时间戳所对应的时间，包括：

获取所述缓存空间中所述包装后的数据的起始时间点和有效时间段；

计算所述起始时间点和所述有效时间段之和，得到所述包装后的数据的时间戳所对应的时间。

在一种可选的设计中，还包括：

若所述包装后的数据的时间戳所对应的时间小于当前时间，则删除所述缓存空间中的所述包装后的数据。

在一种可选的设计中，还包括：

若所述包装后的数据的时间戳所对应的时间不小于当前时间，则不将所述包装后的数据写入所述数据库中。

第二方面，本申请实施例提供一种数据处理装置，包括：

包装模块，用于对待更新数据进行时间戳包装，得到包装后的数据；