[发明专利]一种基于BCube（n;b）数据中心的数据存取方法

说明书

本发明公开了一种基于BCube（）数据中心的数据存取方法，应用于多副本系统中，包括：确定至少一组第一节点，各组内的各所述第一节点之间在各位上的数字均不相同；根据第二节点和各所述第一节点确定所述第二节点与各所述第一节点之间的传输路径；将所述第二节点存储的数据分别通过各所述传输路径并行传输至各所述第一节点。通过上述方法，能够实现数据的并行传输，节省了数据传输的时间也提高了数据传输的效率。

技术领域

本发明涉及数据中心的数据传输领域，特别是指一种基于BCube（）数据中心的数据存取方法。

背景技术

近年来，全球的数据正在以爆炸的形式增长。根据国际数据公司IDC的统计，从2010年到2020年，全球的数据体量将增加50倍，预计到达40ZB。同时，数据存储的需求正在以每年50%到62%的速度增长。这种增长对数据中心存储的可靠性提出了更高的要求。以Facebook部署的Hadoop机群为例，整个机群有3000个节点，涉及45PB的数据，平均每天有22个节点失效，而且单日最高失效节点数超过100。如何确保数据的可靠性成为了数据中心的首要问题。

BCube数据中心是微软研究人员提出的一种新的以服务器为中心的拓扑结构，通过小型交换机和服务器来递归地构建大规模数据中心网络，可以用于数据的存储，在GuoC, Lu G, Li D等人在2009年39（4）的Acm Sigcomm Computer Communication Review所发表的文献《 BCube:a high performance, server-centric network architecture formodular data centers[J]》中，详细的介绍了BCube数据中心的结构及原理。

为了提升数据存储的可靠性，目前主要通过两种机制来实现。

一种机制是副本机制，该方法通过对原文件进行复制来增加冗余度。将数据复制成多份并分散地存储在数据中心的不同位置。当一份文件损坏时，其副本可以被传回本地来代替原文件，从而保证数据存储的可靠性。例如，在HDFS（Hadoop DistributedFilesystem，Hadoop分布式文件系统）、Ceph、Swift等存储系统中，一份文件包含3个副本。理论上，只要有一个副本或者原文件存在时，数据就是可恢复的。这种方法虽然简单，但是副本会造成大量的冗余，导致大量存储空间的浪费。

另一种机制是纠删码机制，可以通过对数据的计算等处理来减少数据存储的冗余，其中比较有代表性的是Reed-Solomon(RS)编码。在RS（k，m）中，数据被划分成k个部分，然后经过处理产生m个冗余部分。只要在这k+m个数据块中存在k个数据块，那么数据就可以被恢复。相比于副本系统，纠删码机制有效地减少了数据存储的成本。例如，如果想要容忍2个失败，对于大小为D bytes的数据来说，副本的方法需要3D bytes的存储空间，而RS（4，2）编码只需要1.5D bytes。然而，RS编码的缺点是在修复过程中对流量的消耗较大。在数据中心中，由于磁盘等原因造成C bytes的数据损坏时，RS（k，m）需要k×C bytes的流量来修复，而副本的方法只需要C bytes。

目前，副本系统和纠删码系统所存在的最大问题之一是传输效率的问题。对于一个需要R副本的多副本系统来说，存储一份文件需要R次的传输。如果传输一个副本所需的时间为t，那么完成所有副本的传输需要R×t的时间。类似的，当文件需要更新时，仍需R×t的时间来完成。而对于纠删码系统，在一个（k，m）纠删码系统中，如果想要存储一份文件，需要k+m次的传输。如果数据块较大，会浪费大量的时间，而且写入这k+m个数据块也是一笔巨大的时间开销。

发明内容

有鉴于此，本发明的目的在于提出一种基于BCube（）数据中心的数据存取方法。