[发明专利]一种面向Hadoop集群的数据同步方法

摘要

本发明提出了一种面向Hadoop集群的数据同步方法，包括在两个Hadoop集群间建立安全链接，集群A发送文件同步请求并发送自己的私钥给集群B，集群B用自己的公钥对集群A的私钥加密之后将加密获得密钥发送给集群A，集群A接收密钥并作为自己的公钥，继而建立了安全的连接。两个集群对文件数据块分别计算强弱校验和，在数据同步之前对比文件快的校验和数据，强弱校验和都相等的数据块则视为相同的文件file数据块，在文件同步传输时只传输差异的数据，相同的数据块不进行传输。接收数据的集群在接收到差异数据的同时将本地数据的差异想删除后添加从其他集群传输的数据组成新的数据。

主权项

1.一种面向Hadoop集群的数据同步方法，其特征在于，所述方法包括下述步骤：Step 1：集群在存储文件数据块时添加时间戳实现版本控制；Step 2：集群A向集群B之间首次需要数据同步时需要建立互信连接；Step 3：集群A产生一个随机密钥，用来自于集群B的公钥进行加密，将加密后的随机密钥发送给集群B；Step4：集群B接受密文后用自己的私钥解密数据获得通信密钥，集群A向集群B间建立了安全的通信连接；Step5:集群A向集群B同步文件file的文件信息以及在集群A中的索引信息；Step6：集群B接收到来自集群A发送的关于新上传的文件file的信息，查询本地集群A是否有文件file的存储记录；Step 7：判断集群B中是否存储过集群A中传送过来的文件file的历史版本；Step 8：对于集群A传输过来的文件file，集群B在本地存储文件file，并比较集群A和本地集群存储的文件file的时间戳信息后确定最新版本，对应选择不同的操作；Step 9：对比集群A和集群B的时间戳信息，并同步集群A和集群B的文件信息及索引信息；Step 10：确定集群A和集群B的Alder32校验和；Step 11：根据Alder32校验和，集群A比较文件file两个版本各数据块的弱校验值查找得到弱校验码相同的数据块，接着对弱校验值相同的数据块比较强校验值MD5值；Step 12：集群A确定需要的差异数据信息，并将差异数据信息传输给集群B。