[发明专利]一种基于滑动窗口分块优化算法的云存储去重方法及设备

说明书

本发明属于云存储的去重技术领域，具体涉及一种基于滑动窗口分块优化算法的云存储去重方法及设备。其云存储去重方法，基于滑动窗口的分块优化算法，通过滑动窗口的移动，确定滑动窗口的当前位置，并与文件位置进行比较，以进行不同的去重步骤，去重主要思路为通过多次分块并计算哈希值，并判断是否存在重复的哈希值以进行去重，能够更加有效地增大块级去重方法的去重率，提高网络带宽利用率，具有网络带宽利用率高，容易实现等优点，充分利用Bloom过滤器的特点，减少了文件所占内存，用极小的空间换来了极大的性能优势。

技术领域

本发明属于云存储的去重技术领域，具体涉及一种基于滑动窗口分块优化算法的云存储去重方法及设备。

背景技术

随着大数据时代的到来，企业以及个人不断产生海量数据，且重要的数据需要安全的进行存储。云存储可以将所有存储资源整合到一起，并通过虚拟化技术提高存储空间的利用率。但是在传输和存储的过程中，这中间的冗余数据会浪费很大的存储空间和网路带宽，云存储去重技术则为用户节约了很大的存储空间，极大地提高了网络带宽利用率，也越来越多地被应用在实际生活中的不同领域，极大的便捷了人们的生产生活。

云存储去重技术,根据去重粒度可以分为文件级和块级去重。不同的粒度去重侧重点不一样。文件级去重，去重率较低，极小的改变也无法识别出来，块级去重去重率较高，但是其中固定分块的去重对于文件的要求也很大，假如添加一部分数据，极有可能完全识别不出来。

因此，亟需一种新的去重方法，以解决块级去重方法去重率低的问题。

发明内容

针对现有技术中存在的上述问题，本发明提供一种基于滑动窗口分块优化算法的云存储去重方法及设备，能够更加有效地增大去重率，提高网络带宽利用率。

本发明采用以下技术方案：

一种基于滑动窗口分块优化算法的云存储去重方法，包括步骤：

S1、上传文件，确定滑动窗口首位数据位置为start、滑动窗口末尾数据位置为end、文件起始位置为mark；

S2、若end≤文件末尾位置，执行步骤S3，若end＞文件末尾位置且start≤文件末尾位置，执行步骤S4，若start＞文件末尾位置，执行步骤S8；

S3、计算滑动窗口内数据的哈希值，通过过滤器判断是否存在该哈希值，若不存在，滑动窗口向下移动第一预设距离，更新start、end，并执行步骤S2，若存在，执行步骤S5；

S4、计算滑动窗口内数据的哈希值，判断数据库中是否存在该哈希值，若不存在，滑动窗口向下移动第一预设距离，更新start、end，并执行步骤S2，若存在，执行步骤S5；

S5、判断当前start与mark是否是同一位置，若是则将滑动窗口整体向下移动第二预设距离，更新start、end，并执行步骤S2，若不是，执行步骤S6；

S6、对相应内容进行分块，计算每一分块的哈希值，通过过滤器判断是否存在该哈希值，若存在则不上传服务器，若不存在则将其值映射进过滤器，并把不存在的分块再次分成多个子块，计算每个子块的哈希值，判断数据库中是否存在该哈希值，若不存在，将其上传服务器并记录于数据库，若存在则不上传服务器，并执行步骤S7；

S7、滑动窗口整体向下移动第二预设距离，更新start、end，并把start的值赋给mark，返回步骤S2；

S8、判断start与mark是否是同一位置，若是则结束上传，若不是则对相应内容进行分块，计算每一分块的哈希值，通过过滤器判断是否存在该哈希值，若存在则不上传服务器，若不存在则将其值映射进过滤器，并把不存在的分块再次分成多个子块，计算每个子块的哈希值，判断数据库中是否存在该哈希值，若不存在，将其上传服务器并记录于数据库，若存在则不上传服务器。

作为优选方案，步骤S3、步骤S4中，第一预设距离具体为一个字节距离；

步骤S5、步骤S7中，第二预设距离具体为一个滑动窗口的距离。