[发明专利]大规模高可靠的归档存储系统构建方法

权利要求书

1.一种大规模高可靠的归档存储系统构建方法，其特征在于包括以下步骤：

第一步，采用文件多副本的分布式存储及并行恢复方法对大规模归档文件进行存储及恢复：

步骤1)构建由多个存储节点组成的存储集群，每个存储节点是包含磁盘，处理器，内存和网络接口的计算机，存储节点之间通过以太网互联；存储节点依次编号为0，1，2，...，N-1，N为存储节点的总数目，待存储的文件数目为p个，每个文件有K个副本，p和K均为正整数；

步骤2)将p*K个副本随机均匀地分布于N个存储节点上，存储节点编号使用[1，N]上均匀分布的随机函数g＝random()，1≤g≤N，同时保证K个副本分别存储在K个不同的存储节点上；

步骤3)当存储集群中多个存储节点出现故障时，多个存储节点按照故障恢复方法进行并发恢复：当存储集群中某个存储节点出现故障时，针对该故障节点上的某个文件j，从存储集群中包含j的副本的除故障节点外的K-1个正常节点中选择一个作为源节点，选择除源节点和故障节点外的任意一个正常节点作为临时目标节点，将副本从源节点拷贝到临时目标节点上；

步骤4)替换节点：当故障节点修复或被新节点替换后，将临时目标节点上的副本拷贝到该修复或替换后的新节点上，之后删除临时目标节点上的副本；

第二步，设计连续时间的Markov模型来描述大规模归档存储系统的故障恢复过程，Markov模型是一个状态机：大规模归档存储系统中每个文件的状态定义为(h，i)，其中h是某文件保留在原始存储节点上的副本的数目，i表示临时恢复存储到临时目标节点上的副本的数目；状态转移方法是：

1)当h＝K且i＝0时为初始状态，只能转移到状态(K-1，0)，转移条件是系统中出现一个故障节点，该文件位于初始分布的节点的副本数目 减少一个达到K-1，位于临时节点的副本数目仍然为0，K是存储系统中每个文件的副本数，状态(K，0)到状态(K-1，0)的转移速度是K*λ，λ是存储节点的磁盘的故障率；

2)当h＝0且i＝0时为终止状态，到达该状态表明系统出现数据丢失，处于不可修复状态，不能再转移到其它状态；

3)当1≤h≤K-1且i＝0时为边缘状态I，在该状态下，只能转移到下述两种状态：

状态(h-1，0)：当系统中出现新的故障节点时，该文件位于初始分布的节点的副本数目减少一个达到h-1，位于临时节点的副本数目保持不变为0；状态(h，0)到状态(h-1，0)的转移速度是h*λ；

状态(h，1)：当文件的副本恢复到临时目标节点时，该文件位于临时目标节点的副本数目增加一个达到1，位于初始分布节点的副本数目保持不变；状态(h，0)到状态(h，1)的转移速度是μ，μ是单个文件副本在一对节点中恢复的速度；

4)当1≤i≤K且h＝0时为边缘状态II，在该状态下，只能转移到下述两种状态：

状态(0，i+1)：当文件的副本恢复到临时目标节点时，该文件位于临时目标节点的副本数目增加一个达到i+1，位于初始分布节点的副本数目保持不变，状态(0，i)到状态(0，i+1)的转移速度是μ；

状态(0，i-1)：当存储文件副本的临时目标节点出现故障时，该文件位于临时目标节点的副本数目减少一个达到i-1，位于初始分布节点的副本数目保持不变，状态(0，i)到状态(0，i+1)的转移速度是i*λ；

5)当h+i＝K，且1≤h≤K-1，1≤i≤K-1，为边缘状态III，在该状态下，只能转移到下述两种状态： 

状态(h+1，i-1)：当存储集群中故障节点被新节点替换成功时，该文件位于i个临时节点的i个副本中的一个转移到了新替换节点上，位于副本最初分布的节点的副本数增加一个达到h+1，位于i个临时节点上的副本数减少一个达到i-1；状态(h，i)到状态(h+1，i-1)的转移速度是i*v，v是单个文件拷贝转移的速度；

状态(h，i-1)：当存储文件副本的临时目标节点出现故障时，该文件位于临时目标节点的副本数目减少一个达到i-1，位于初始分布节点的副本数目保持不变；状态(h，i)到状态(h，i+1)的转移速度是i*λ；

6)当h+i＜K，且1≤h≤K-2，1≤i≤K-2，为内部状态，在该状态下，只能转移到下述三种状态：

状态(h-1，i)：当系统中出现新的故障节点时，该文件位于初始分布的节点的副本数目减少一个达到h-1，位于临时节点的副本数目保持不变；状态(h，i)到状态(h-1，i)的转移速度是h*λ；

状态(h，i+1)：当文件的副本恢复到临时目标节点时，该文件位于临时目标节点的副本数目增加一个达到i+1，位于初始分布节点的副本数目保持不变；状态(h，i)到状态(h，i+1)的转移速度是μ；

状态(h，i-1)：当存储文件副本的临时目标节点出现故障时，该文件位于临时目标节点的副本数目减少一个达到i-1，位于初始分布节点的副本数目保持不变；状态(h，i)到状态(h，i+1)的转移速度是i*λ；

第三步，依据Markov模型获得大规模归档存储系统优化参数，这些参数包括系统存储节点总数N、网络总带宽B、单个节点上存储的文件个数m和单个节点IO带宽b，方法是：

3.1按照系统存储容量需求得到系统存储规模S，依据可靠性要求确定文件副本数K；

3.2选定基本存储设备的型号后，获得存储设备或节点的故障率λ和节点 的带宽b；

3.3依据Markov模型计算节点总数N、网络总带宽B、单个节点上存储文件的数目m的最优值：

3.3.1选取 L为正整数；

3.3.2选取m≥B/b；

3.4通过公式S×K/N确定单个存储节点的存储容量；

3.5通过B及b值，确定交换机和核心路由器的型号和数目；

第四步，依据第三步获得的优化参数构建存储系统：通过S×K/N来确定单个节点存储容量，通过b确定节点带宽，通过B和N确定交换机和核心路由器的型号和数目，通过m确定单个节点上存储文件的数目；依据上述方法确定的参数，将N个存储节点组成局域网，每个节点上的数目不超过m，从而构成海量归档存储系统。