[发明专利]云存储中一种重复数据删除算法

权利要求书

1.云存储中一种重复数据删除算法，本发明涉及计算机存储、云存储中重复数据的删除及检索、信号处理领域，其特征是，包括如下步骤：

步骤1：数据分块

步骤2：生成校验信息存储子集

步骤3：生成重复数据集合

步骤4：重复数据流分数Fourier构造变换简化

步骤5：重复数据检测

步骤6：数据删重。

2.根据权利要求1中所述的云存储中一种重复数据删除算法，其特征是，以上所述步骤2中的具体计算过程如下：

步骤2：生成校验信息存储子集

根据云存储中的Qos偏好，将数据存储的适应度函数定义为如下：

其中， t代表时间，c代表花费、q代表质量、s代表安全，不同应用文件在选择相同的划分策略和指纹提取方法时候，各个存储子集组合成一个具有层次结构树状图，得到存储节点的系统子集随机概率分布函数为：

重复数据的双随机概率分布函数的权重主要依据它在所属双随机概率分布函数中出现的概率来计算，而所有双随机概率分布函数都是围绕一个核心概率函数展开的，得到重复数据信息流的存储节点权重以此计算存储集群系统的校验信息存储子集，计算方法为：

对多个任务流中的重复数据进行在线编码调度，云存储系统将启动下一存储子集，客户端向文件服务器请求源数据，得到存储系统生成校验位为：

。

3.根据权利要求1中所述的云存储中一种重复数据删除算法，其特征是，以上所述步骤3中的具体计算过程如下：

步骤3：生成重复数据集合

假设云存储系统重复数据流信息的目标端信息分量为：

采用窗函数宽度可变方法对频率分辨力进行调整，重复数据一般都会备份到远端存储节点，可以利用重删系统中文件信息流进行相位信息评估，得到重复数据出现的概率权重为：

重复数据信息流通过网络传输到远端节点的输出向量模型为：

进而计算得到重复数据的集合为：

。

4.根据权利要求1中所述的云存储中一种重复数据删除算法，其特征是，以上所述步骤5中的具体计算过程如下：

步骤5：重复数据检测

根据上面建立的变换表达式以及重复数据的丢失信息流特征，对其进行分解，得到简化后的表达式为：

式中，是一个维矩阵，存储系统中各个节点需要创建多个线程的信息流特征编码，得到重复数据信息流矩阵各元素为：

由此实现对重复数据信息流的检测。

5.根据权利要求1中所述的云存储中一种重复数据删除算法，其特征是，以上所述步骤6中的具体计算过程如下：

步骤6：数据删重

经过6中滤波处理后，得到的重复数据信息流作为输入向量，进行删重计算；重复数据的文件系统层设训练样本集为其中任意训练样本为采用以此设计的检测滤波系统，得到云存储系统中的重复数据信息流的离散分数阶Fourier逆变换可表示为：

定义云存储系统中的源端节点存储数据的４阶累积量切片表达式为：

式中，在目标端重删系统中，假设的对角切片表达为那么多个客户端节点的数据对角切片在分数fourier域上的离散时间点为n处的检测计量为则有其4阶混合累积表达式为：

式中，为客户端节点的数据带宽，h（j）为云存储系统的滤波函数，为重复数据重构时延，采用分数阶Fourier变换方法结合４阶累积量后置处理，得到重复数据信息流的删除后的系统输出为：

采用４阶累积量切片后置算子，通过ｋ次分解后，把每个文件分为若干个块，针对每个文件块进行重删，实现存储资源上的重复数据检测及其删除，提高抗干扰能力，减低误删概率，从而提高了集群云存储系统计算资源的利用率。