[发明专利]数据同步的方法、装置、计算机设备及存储介质

说明书

本发明提供一种数据同步的方法、装置、计算机设备及存储介质，其中所述方法包括：获取待同步数据表中被标记为不定期同步的数据表；基于根据历史数据而预先设置的第一更新周期对所述不定期同步的数据表进行增量同步；若所述增量同步无效；基于历史数据计算得到的第二更新周期对所述不定期同步的数据表进行增量同步。本发明通过对数据库中不定期同步的数据表进行针对性同步，实现了数据库表中不定期同步的数据表同步周期的合理化管理，不仅提高了数据库的同步性能和效率，还避免了因频繁对不定期同步的数据表进行同步而增加服务器的运转负担，同时保证了数据库数据的实时性。

技术领域

本发明涉及移动通信领域，尤其涉及一种数据同步的方法、装置、计算机设备及存储介质。

背景技术

在数据库增量同步之前，需要将全量数据进行拷贝，并自动判断全量数据的同步时间点及数据是否已作改动从而决定是否进行增量同步。尽管相对于全量同步，增量同步对于节省存储空间大有益处，但是增量同步暂不能实现根据数据库中数据表的特性进行针对性的同步。

具体而言，现有技术不能针对数据表的更新周期进行数据的及时同步，导致增量同步的周期与数据表的更新周期不一致，然而增量同步的周期太短会增加服务器的运转负担，增量同步的周期太长则难以保证数据库的及时更新。

发明内容

为解决上述问题，本发明采用如下各方面的技术方案：

第一方面，本发明提供一种数据同步的方法，包括以下步骤：

获取待同步数据表中被标记为不定期同步的数据表；

基于根据历史数据而预先设置的第一更新周期对所述不定期同步的数据表进行增量同步；

若所述增量同步无效，基于历史数据计算得到的第二更新周期对所述不定期同步的数据表进行增量同步。

优选地，所述获取待同步数据表中被标记为不定期同步的数据表之前，包括：

获取所述待同步数据表的预置历史时间段内的第一更新时间戳，若相邻所述第一更新时间戳之间的间隔相同，则判断所述待同步数据表为定期同步的数据表，

否则，判断为不定期同步的数据表；

筛选出所述待同步数据表中不定期同步的数据表。

优选地，所述筛选出所述待同步数据表中不定期同步的数据表之后，还包括：

基于预先对所述待同步数据表设立的类型标签，将所述不定期同步的数据表中属于同一类型标签的同类型数据表进行归类；

根据所述同类型数据表在预置历史时间段内的第二更新时间戳，计算得到所述同类型数据表的平均更新周期，以所述平均更新周期作为第一更新周期。

优选地，所述基于历史数据计算得到的第二更新周期，包括：

基于所述同类型数据表中的至少两个共同字段，筛选出所述字段对应的数据值相同的数据，作为目标参考数据；

根据所述目标参考数据在预置历史时间段内的第三更新时间戳，计算得到所述目标参考数据的平均更新周期，以所述平均更新周期作为第二更新周期。

优选地，对所述不定期同步的数据表进行增量同步，包括：采用哈希散列对所述不定期同步的数据表进行散列排布，将所述不定期同步的数据表中具有相同主键的数据映射到同一数据块。

进一步地，判断所述增量同步无效，包括：在预设周期内对所述不定期同步的数据表进行数据采集，包括增量同步前的历史数据以及对应的当前数据，将采集到的数据存储至预设存储区，并将所述增量同步前的历史数据与所述当前数据进行比较，若所述增量同步前的历史数据与所述当前数据相同，则判断所述增量同步无效。