[发明专利]一种数据存储系统中的故障处理的方法、装置、节点设备以及存储介质

说明书

技术领域

本发明实施例涉及通信技术，尤其涉及一种数据存储系统中的故障处理的方法、装置、节点设备以及存储介质。

背景技术

P2P是Peer-to-Peer的简写，又被称为对等技术。P2P不依赖于集中的那一个服务器，而是依赖于参与到P2P网络中的所有机器。从系统的结构来看，P2P系统是分布式的结构，它不同于集中式的结构或者基于服务器的结构。因为它不依靠与某个网络中的中心服务器节点来提供索引服务，网络中的任何两台机器之间都能够直接建立连接共享资源，并能够发现P2P系统中的各种服务。与客户端服务器架构相比，P2P的关键优势是它把整个系统提供的服务分散到系统中的每个对等节点上了，如此一来整个P2P系统就不存在单点故障的风险。

P2P网络体系结构包括集中目录式结构、纯P2P网络结构、混合式网络结构等三种：(1)集中目录式结构；集中目录式结构的系统中存在一个中央目录服务，该目录服务器负责保存各个节点的索引信息，比如节点的地址、存储的资源等元数据。(2)纯P2P网络结构；纯P2P网络，去除了集中的中央目录服务器，网络中的每个节点都完全对等，任何一个用户都是随机地接入到P2P网络中，而且利用端到端的连接与自己相邻的一组邻居节点在逻辑上组成一个覆盖网络。(3)混合式网络结构；混合式网络结构是将集中式P2P与纯P2P网络两者结合的混合式网络结构。混合式网络结构系统中的节点都是以簇的形态存在，一个簇由一个索引节点和在它附近的多个普通节点组成，在每个簇内，索引节点作为簇的中央目录服务器，其他普通节点负责资源的存储。

随着移动互联网等技术的不断快速发展，尤其是Web2.0时代的开启，全球众多互联网用户生产的各种数据呈现爆炸式地增长。互联网数据中心统计2015年全球的数据量就达到8ZB，到2020年更将达到35ZB。全球社会生产的海量数据对存储产生了巨大的需求，为解决海量数据的高性能、低成本以及高安全可靠性的存储需求，云存储技术应运而生，相比于传统的存储技术，不仅仅能够低成本的存储海量数据，并且能够更简单、高效地存储与管理数据。云存储非常有效地解决了传统存储技术的瓶颈。

目前主流的云存储系统(含谷歌GFS、亚马逊S3以及开源的HDFS)使用了主从式的系统架构，即系统由一个中心的主节点和多个从节点构成。其中最典型就是GFS，它的系统由一个主节点GFS主服务器和多个从节点GFS数据块服务器。而通常GFS主服务器只有一个，一旦云存储系统中的主节点GFS主服务器出现故障，将导致整个系统的瘫痪。即使系统中可能采用多机热备份技术，但是其依然没有从根本上解决系统里元数据高度集中的中心节点的单点故障隐患。

发明内容

本发明实施例提供一种数据存储系统中的故障处理的方法、装置、节点设备以及存储介质，旨在解决存储簇出现故障时的数据存储系统中的故障处理问题。

第一方面，一种数据存储系统中的故障处理的方法，所述方法包括：

若添加的新存储簇为N i，存储簇N i在Chord环中的位置是在存储簇N j-1和N j之间，根据新的存储簇的管理节点的IP和端口号使用SHA-1算法得出所述Ni在Chord环中的位置N i；

若所述Chord环上N j-1到N i的哈希空间为S 1，N i到N j之间的哈希空间为S 2，复制Ni和Nj上的数据到Ni上；

删除所述N j-1上映射到所述S 2内的用户数据及元数据；删除所述N j中保存的所述N j-1上数据的冗余副本；删除所述N j-1中映射在所述S 1内的用户数据及其元数据。

可选地，所述复制Ni和Nj上的数据到Ni上，包括：

将通过哈希函数算出映射到所述S 1内的数据，从所述N j上复制到所述N i上；

将通过哈希函数算出映射到所述S 2内的数据，从所述N j上复制到所述N i上；

将所述N j保存的N j-1的冗余副本，复制到所述N i上。

可选地，所述方法还包括：

若存储簇出现故障，故障存储簇编号为N j，N j-1到N j之间的哈希空间为S 3，N j到N j+1之间的哈希空间为S4，则将所述N j+1上存储的映射到S 2的数据复制到所述N j-1；将所述N j-1上存储的原副本数据复制到所述N j+1将所述N j+1上存储的映射到S 1的数据复制到N j+2。

可选地，所述方法还包括：