[发明专利]一种高效能分布式云存储方法及系统

说明书

本发明公开了一种高效能分布式云存储方法及系统，涉及云存储技术领域；本发明采用带有多个数据节点和目录节点的分布式云存储系统，通过数据节点分别监测已用磁盘空间、每秒磁盘数据传输量和每秒网络数据传输量三个参数判断数据节点是否处于满负荷状态，同时将状态信息发送给所有目录节点，从而动态维护一个非满负荷数据节点队列提升云存储系统的性能；此外，通过判断数据块处于热点数据块或者回收数据块来动态调整每个数据块的副本数，对于热点数据块，增加副本数可以使得数据读取过程中效率提高；对于回收数据块，适量的减少副本数也可以在不降低读取速度的基础上节约存储空间，进一步提高整个云存储系统的性能。

技术领域

本发明涉及数据云存储技术领域，尤其涉及一种高效能分布式云存储方法及系统。

背景技术

分布式云存储由于其数据节点多，分散性已经越来越受到欢迎，同时数据存储过程中对数据节点的负荷状态判断是分布式云存储的数据读取过程中很重要的环节。现有技术中对于分布式云存储系统的数据节点负荷状态判断方法主要是目录节点通过监控该数据节点的本地磁盘是否写满，如果本地磁盘没有写满，则该数据节点是非满负荷状态，可以继续写入。但是这样的判断方法中并没有考虑到读写过程数据节点的吞吐量。考虑到数据节点的吞吐量，如果数据节点的本地磁盘中只存储了50％的空间，存储的数据需要被频繁读取，此时数据节点的磁盘读写通道以及网络传输通道都是属于满负荷工作的。所以对于这类数据节点，如果再写入数据块很容易导致数据节点超载，导致整个云存储系统拥塞，性能降低，因此这种数据节点是不能再写入新的数据。

此外，由于数据块的读取命令是平摊到存储该数据块副本的多个数据节点上，只要一个数据节点读取成功即可，而数据节点的个数即为副本数，因此多副本技术数在云存储系统上的应用已经很广泛。但是现有的技术中，如HDFS系统，数据块的副本数通常是静态的，那么会产生一个问题，如果副本数设置的太大，能够提升性能和可靠性，但是浪费大量存储空间；副本数设置的太小则当数据块Bi成为热点数据块时，数据块就会成为云存储系统的性能瓶颈，导致整个系统的性能降级。

由此可见，需要提供一种高效能分布式云存储系统和方法。

发明内容

本发明的目的在于提供一种高效能分布式云存储方法及系统，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种高效能分布式云存储方法，包括数据读写过程，具体包括以下步骤：

S1,当客户端需要向云存储系统中写入数据时，客户端从R个冗余的目录节点中随机选择一个目录节点Di，并向所述目录节点Di发送写入命令和需要写入的数据文件F；所述目录节点Di接收到客户端的写入命令后，将需要写入的数据文件F按照预先设置好的数据块大小标准BS分解为多个数据块；

S2,所述目录节点Di针对每个数据块Bi，根据预先配置好的数据块Bi的副本数Li，从非满负荷数据节点队列WQ中，随机选择Li个数据节点，并把需要写入的数据块Bi，发送到所述Li个数据节点；

S3，所述Li个数据节点将数据块Bi写入本地磁盘，同时在数据节点所维护的数据块访问计数器数组中加入数据块Bi的访问计数器Ci，数据块热点计数器数组中加入数据块Bi的热点计数器Hi，并把Ci和Hi的计数值均初始化为0；

S4，重复步骤S2和S3,直到目录节点Di把数据文件F包含的所有数据块写入完毕后，所述目录节点Di把相关的目录信息传送给剩余其他的目录节点；

当所有目录节点更新完目录信息，目录节点Di向客户端发送写入完毕信息；

S5，当客户端需要读取云存储系统中的数据时，客户端随机选择一个目录节点Di’，并向所述目录节点Di’发送读取数据文件F’的命令；