[发明专利]一种大数据中转传输同步及存储方法

说明书

本发明涉及数据传输与同步技术领域，尤其是一种面向不同网域之间的大数据中转传输同步及存储方法。本发明所述的方法是处于不同网域的分布式集群之间，通过一个网络中拥有公共IP的节点作为名称节点，存储其他位于局域网内的数据节点映射信息与块信息；名称节点所在网域中选择性搭建起HDFS作为中转服务器的存储系统；客户端集群之间，通过与中转服务器的通信，根据所属具体网络环境，通过中转服务器的存储系统作为跳板，传输所需海量大数据；数据传输所用HDFS接口采用RESTful风格发布作为webHDFS的变种实现；在中转服务器各数据节点中建立数据完整性校验机制，保证数据完整与安全。本发明可以应用于跨域分布式海量数据的传输、同步中。

技术领域

本发明涉及数据传输与同步技术领域，尤其是一种面向不同网域之间的大数据中转传输同步及存储方法。

背景技术

随着信息技术的快速发展，数据信息量的爆炸式增长，传统的数据存储及处理的模式已经难以满足当今时代对于高速、灵敏反应的需求，而分布式和虚拟化技术的应用带来了解决方案的同时，也提出了其他方面的要求及问题，分布式间大数据的传输也成为其中一个关键问题。如何解决快速、安全、稳定的跨网传输成为关注的热点，在Hadoop分布式文件系统中出现的webHDFS给出了一个解决该问题的可能性。

发明内容

本发明解决的技术问题在于提供一种面向不同网域之间的大数据中转传输同步及存储方法；实现海量数据传输、数据完整性校验、分布式文件存储、HDFS的RESTful接口定义使用以及点对点大数据同步的中转。

本发明解决上述技术问题的技术方案是：

所述的方法是处于不同网域的分布式集群之间，通过一个网络中拥有公共IP的节点作为名称节点，存储其他位于局域网内的数据节点映射信息与块信息；名称节点所在网域中选择性搭建起HDFS作为中转服务器的存储系统；客户端集群之间，通过与中转服务器的通信，根据所属具体网络环境，通过中转服务器的存储系统作为跳板，传输所需海量大数据；数据传输所用HDFS接口采用RESTful风格发布作为webHDFS的变种实现；在中转服务器各数据节点中建立数据完整性校验机制，保证数据完整与安全。

所述的方法中，如果需要进行传输的数据位于异地分布式集群且在传输过程中客户端双方无法直接取得连接；则通过存储在中转服务器名称节点上的信息，获取到客户端所需同步传输模块所在地址，通过RESTful的HDFS接口于TCP/IP之上将位于不同数据节点上的数据并发传输至中转服务器的存储系统，传输完成后通过MD5完成数据完整校验，如果数据传输过程中出现丢包，则等待重传直到传输完整或任务失败；在待同步数据传输至中转服务器后，利用相同原理连接另一个客户端，将数据并发传输至其各数据节点完成同步。

所述的方法中，HDFS分布式文件存储工作流程是：处于客户端的分布式集群数据节点通过统一网关与外界因特网相连，拥有公用对外ip地址，处于服务器端各数据节点可拥有独立公有Ip地址，其信息存储在服务器名称节点中；客户端数据节点集群与服务器名称节点集群建立一对多连接关系，并发将客户端各数据节点中数据发送至中转服务器的存储系统。

当MD5码校验成功，则将本块信息冗余至另外2个数据节点，并返回成功标志；当MD5码指示传输丢包后，根据当前传输块信息，从名称节点中获取块信息与索引信息，从拥有该块的数据节点中随机选择一个节点完成重传，达到负载均衡。

所述方法的主要步骤是：

S1.服务器名称节点检查读写请求的目标文件是否存在，权限是否满足，满足则进入下一步S2，否则向客户端报告异常；

S2.读写文件之前，数据节点先将文件切分为多个包，向名称节点申请块空间存储数据节点列表；

S3.以packet作为传输基本单元，从数据节点中读取或写入所需的数据块；完成一个数据节点的读写后，继续下一个数据节点的读写；