[发明专利]一种基于纠删码的文件追加方法

摘要

本发明公开了一种基于纠删码的文件追加方法，目的是降低文件追加的编码计算开销和网络传输开销。技术方案是先构建一个由一个控制节点和N个存储节点构成的分布存储系统，控制节点安装有数据读写管理程序，存储节点上安装有数据读写程序；数据读写管理程序从最后一组原始数据块所在的存储节点读取原始数据块，将数据块AD追加到最后一组原始数据块，从最后一组原始数据块对应的冗余数据块所在的存储节点删除冗余数据块，利用存储的编码系数对数据文件的最后一组k个原始数据块重新进行编码计算，得到追加后的冗余数据块C1～Cm；数据读写管理程序将新追加的数据块和C1～Cm分别写入不同的存储节点。采用本发明可最大限度降低编码计算开销和网络传输开销，有效保证文件追加效率。

主权项

一种基于纠删码的文件追加方法，其特征在于包括以下步骤：第一步，构建一个分布存储系统，它由一个控制节点和N个存储节点构成，N为正整数，控制节点和存储节点都是一台可独立运行的计算机，各节点通过网络设备互连；控制节点和存储节点上均安装有操作系统、TCP/IP协议软件，配置了网络环境；控制节点负责与用户交互，安装有数据读写管理程序；存储节点负责存储数据文件的原始数据块和冗余数据块，存储节点上安装有数据读写程序；第二步，控制节点执行数据读写管理程序，接收用户提交的向数据文件DO追加数据块AD的请求，根据数据文件DO的原始数据块分组情况，从最后一组原始数据块所在的存储节点读取原始数据块；如果最后一组原始数据块中包括全零数据块，那么将数据块AD追加到最后一组原始数据块，从最后一组原始数据块对应的冗余数据块所在的存储节点删除冗余数据块；否则，最后一组原始数据块中不包括全零数据块，新追加的数据块AD将构建新的原始数据块组；第三步，控制节点执行数据读写管理程序，利用存储的编码系数对数据文件DO的最后一组k个原始数据块D1～Dk重新进行编码计算，得到追加后的m个冗余数据块C1～Cm；第四步，控制节点执行数据读写管理程序，将新追加的数据块AD和编码计算得到的m个冗余数据块C1～Cm分别写入不同的存储节点；第五步，控制节点执行数据读写管理程序，向用户发送数据追加成功信息。