[发明专利]一种大数据的同步方法

说明书

本发明涉及数据同步处理技术领域，尤其是一种大数据的同步方法，包括本方数据源和第三方数据源，第三方数据源包括有多种数据源，具体处理步骤为：分析数据分组，并与相对应的第三方数据源进行匹配；针对人的操作行为分析，根据增量数据的峰谷值判断进行相应时间段内数据同步；在完成相应时间段内的数据同步后，数据同步完成的结束时间固化传到本方数据源的数据库内；在相同时间段内同步的多种数据源的数据，进行同一份时间段内数据管理；同步的多种数据源的数据，根据预设的策略进行相应的分表数据库管理；在数据发生错误时，数据在下次同步任务根据最后一次固化的结束时间进行本次同步的开始时间，本发明能够到服务的稳定性、可连续性、精准性。

技术领域

本发明涉及数据同步处理技术领域，具体领域为一种大数据的同步方法。

背景技术

在数据处理领域，通常需要进行数据的读取、数据筛洗，同步等过程。其中原始数据的存档通常存储在MySql、SqlServer、PostgreSql；

对于不同的数据源拥有者，一般是不会共享原始数据，原始数据也基本不能直接使用；

传统的大数据同步策略通常情况下，一次性将变动的数据通过接口的方式推送过来，造成数据量过大，影响现有的系统的健康运行，同时也影响现有的业务的正常运行。边同步边运行势必会造成脏数据的产生，对于业务的执行造成难以挽回的错误和损失。

发明内容

本发明的目的在于提供一种大数据的同步方法，以解决现有技术中大数据处理过程中数据错误的问题。

为实现上述目的，本发明提供如下技术方案：一种大数据的同步方法，包括本方数据源和第三方数据源，第三方数据源包括有多种数据源，

数据源同步具体处理步骤为：

(1)基于分布式的计算任务分析数据分组，并与相对应的第三方数据源进行匹配；

(2)根据数据更新日期进行增量数据约定更新；

(3)针对人的操作行为分析，根据增量数据的峰谷值判断进行相应时间段内数据同步；

(4)在完成相应时间段内的数据同步后，将数据同步完成的结束时间固化传到本方数据源的数据库内；

(5)根据步骤(4)中的结束时间作为下一个时间段的开始时间；

(6)在相同时间段内同步的多种数据源的数据，进行同一份时间段内数据管理；

(7)同步的多种数据源的数据，根据预设的策略进行相应的分表数据库管理；

(8)在数据发生错误时，数据在下次同步任务时，根据该数据库中最后一次固化的结束时间进行，本次同步时间段内的开始时间。

优选的，根据步骤(3)，其具体方式为：将增量的数据拆分成峰谷值连续时间段内的数据；

针对峰值的数据时间段设置为较小数据量进行同步；

针对谷值的数据时间段设置为较大数据量进行同步。

优选的，本方数据源包括循环同步和多时间段同步、中间表数据库、分表策略、分表数据库，

循环同步和多时间段同步对第三方数据源进行增量数据更新同步；

同步的数据传输到中间表数据库，通过分表策略将中间表数据库中的数据进行相应分表策略规则固化到对应的业务分表数据库内。

与现有技术相比，本发明的有益效果是：在同步大数据时做到服务的稳定性、可连续性、精准性，通过分组分次的同步策略能够保障在同步大数据时，既不影响在正常时间的业务的运行，又能把海量的数据同步过来作为业务的基础数据。

附图说明

图1为本发明的原理框图。