[发明专利]数据同步方法和集群节点

摘要

本发明公开了一种数据同步方法和集群节点，该方法包括：在生成源数据的集群节点生成源数据的集群节点上对所述源数据的完整性进行验证；若验证所述源数据为完整的，则获取所述源数据；根据所述源数据对数据表进行更新；其中所述源数据为完整的表示所述生成源数据的集群节点生成源数据的集群节点已完成生成所述源数据的过程，所述数据表用于记录所述源数据的元信息。在该实施例中，通过在生成源数据的集群节点上来实现源数据完整性的验证，在源数据完整的情况下，实现数据同步。因此，无需通过Hive手工以文件方式导入源数据再完成数据完整性和有效性的判断，从而降低了人力成本，并且提高数据同步的效率。

主权项

1.一种数据同步方法，其特征在于，所述方法应用于涉及PB级大数据的分布式系统的数据同步的目标集群节点中，包括：所述目标集群节点在生成源数据的集群节点上对所述源数据的完整性进行验证；当通过对所述生成源数据的集群节点进行轮询，获取到完整标记时，验证所述源数据为完整的，所述完整标记是由所述生成源数据的集群节点在所述源数据生成完成之后产生的；若验证所述源数据为完整的，则所述目标集群节点获取所述源数据；所述目标集群节点根据所述源数据对数据表进行更新；根据所述源数据对数据表进行更新之前，所述方法还包括对所述源数据进行过滤，以过滤掉无效数据；具体包括对源数据进行校验，排除不符合指定压缩格式的文件；其中所述源数据为完整的表示所述生成源数据的集群节点已完成生成所述源数据的过程，所述数据表用于记录所述源数据的元信息。