[发明专利]一种数据同步方法、装置、系统及存储介质

说明书

本发明公开了一种数据同步方法、装置、系统及存储介质；通过缓存基础数据集到分布式数据库；读取消息队列中的数据并缓存为第一数据集；清洗所述第一数据集获得第二数据集；根据所述基础数据集和所述第二数据集更新所述基础数据集；根据更新后的所述基础数据集同步业务数据库；实现了对消息队列中海量数据进行批量清洗和缓存后再同步业务数据库，达到了减少业务服务器数据同步次数，减少了数据同步的数据量，降低了业务服务器的资源消耗，从而提高了业务服务器的数据同步的效率。

技术领域

本发明涉及工商信息数据处理技术领域，具体涉及一种数据同步方法、装置、系统及存储介质。

背景技术

在提供工商企业数据的大数据服务中，需要抓取海量的工商企业数据。因工商企业数据包括大量维度，每日企业信息变更、舆情信息等数据都在不断更新，用户在查询时就需要尽快查询到企业最新状态信息。然而，通过爬虫从互联网各方面收集回来的数据以各种维度的形式散落在不同的MQ(消息队列，Message，Queue)里。通常的处理方式为，从队列中取出每一条数据，将数据同步到大数据环境，同时将数据同步到线上业务环境。如果一条工商信息有多个维度变化，那么针对这条工商信息就需要同步多次，因为需要同步的数据量巨大导致同步效率低和业务服务器资源过度消耗的问题。

发明内容

针对现有技术中的缺陷，本发明提供一种数据同步方法、装置、系统及存储介质，以解决目前工商信息大数据同步中效率低和业务服务器资源过度消耗的问题。

一方面，本发明提供一种数据同步方法，包括：通过爬虫程序或脚本爬取工商企业的各个维度的信息并推送到消息队列中，所述消息队列为分布式消息队列；缓存基础数据集到分布式数据库，该分布式数据库存储在分布式文件系统上；所述分布式数据库为hbase，分布式文件系统为hdfs；读取消息队列中的数据并缓存为第一数据集；清洗所述第一数据集获得第二数据集；根据所述基础数据集和所述第二数据集更新所述基础数据集；根据更新后的所述基础数据集同步业务数据库；读取消息队列中的数据并缓存为第一数据集具体包括：缓存消息队列中的数据到内存，当所述内存中的缓存数据的数据量达到第一阈值时，将所述内存中的所述缓存数据缓存至分布式文件系统；清洗所述第一数据集获得第二数据集包括：根据数据维度清洗所述第一数据集；根据关键信息将清洗后的各个维度数据进行整合获得第二数据集；所述关键信息至少包括组织名称；所述组织包括法人组织和/或非法人组织；所述缓存基础数据集到分布式数据库具体包括，缓存基础数据库和/或业务数据库中的基础数据集到分布式数据库；所述数据清洗至少包括以下数据处理手段之一：重复记录的检测、重复记录的消除、错误数据的检测、错误数据的修正、数据完整性的检测、数据补全、数据一致性检测及数据一致性修正。

优选的，根据所述基础数据集和所述第二数据集更新所述基础数据集具体包括：比较所述第二数据集和所述基础数据集，如果所述第二数据集相对所述基础数据集有更新，则根据所述第二数据集更新所述基础数据集；或，比较所述第二数据集和所述基础数据集，如果所述第二数据集相对所述基础数据集有更新，则根据所述基础数据集更新所述第二数据集，根据更新后的所述第二数据集更新所述基础数据集。

另一方面，本发明提供一种数据同步装置，包括：缓存模块，消息处理模块，数据清洗模块，数据比较模块，数据同步模块；所述缓存模块被配置为缓存基础数据集到分布式数据库；所述消息处理模块被配置为读取消息队列中的数据并缓存为第一数据集；所述数据清洗模块被配置为清洗所述第一数据集获得第二数据集；所述数据比较模块被配置为根据所述基础数据集和所述第二数据集更新所述基础数据集；所述数据同步模块被配置为根据更新后的所述基础数据集同步业务数据库。

另一方面，本发明提供一种数据同步系统，包括：至少一个处理器和能够存储在处理器上运行的计算机指令的存储器；其中，所述处理器用于运行所述计算机指令实现上述数据同步的方法。

另一方面，本发明提供一种存储介质，所述存储介质中存储有计算机指令，其特征在于，所述计算机指令被处理器执行时实现上述数据同步的方法。