[发明专利]一种数据监管方法及系统

说明书

技术领域

本发明涉及计算机系统及存储领域，特别涉及一种数据监管方法及系统。

背景技术

现如今，随着互联网的快速普及，设备间的数据交换，不再单单是通过磁盘、光盘、U盘等这些相对耗时的实体设备进行中转的方法，而是可以通过互联网更快速的进行数据的交换。与此同时，带来的问题便是大量的数据交换也使得管理起来困难，容易出现文件重复存储的情况，例如，视频、文档、音乐等，大量的重复数据将占用大量的存储空间，对于企业来说更是如此。

网盘的出现在一定程度上缓解了企业对于存储空间的压力，但是网盘的便利性使得众多的用户能够轻松地上传大量文件，虽然对于每个用户个体来说其所上传的文件都是不同的，但整体来看众多用户会上传一个文件多次，如果不对这些文件进行处理，存储空间将大量浪费在这些重复文件上。

因此，如何能够降低数据的重复率成为了技术人员需要解决的问题。

发明内容

有鉴于此，本发明的目的在于提供。其具体方案如下：

一种数据监管方法，包括：

接收数据块，并保存到缓存区；

利用预设的算法计算出所述数据块的特征信息；

在特征信息记录表中查找所述数据块的特征信息，以确定物理空间中是否存在数据内容与所述数据块相同的物理块，其中，所述特征信息记录表为保存所述物理空间中每个物理块相应的特征信息的表；

如果查找到所述数据块的特征信息，则删除所述缓存区中的所述数据块。

优选的，所述利用预设的算法计算出所述数据块的特征信息包括：

利用第一预设算法和第二预设算法分别计算出所述数据块的第一特征信息和第二特征信息；

相应的，所述在特征信息记录表中查找所述数据块的特征信息，以确定物理空间中是否存在数据内容与数据块相同的物理块包括：

如果查找到与所述第一特征信息相同的第一历史特征信息，并且查找到与所述第二特征信息相同的第二历史特征信息，则判定所述物理空间中存在数据内容与所述数据块相同的物理块；

否则判定所述物理空间中不存在数据内容与所述数据块相同的物理块。

优选的，所述第一预设算法为哈希校验算法，所述第二预设算法为MD5校验算法。

优选的，所述接收数据块，包括：

预选设定数据块单位长度；

控制发送终端根据所述数据块长度设定信息切割源数据，得到数据块集；

接收由所述发送终端发送的所述数据块集。

优选的，所述预选设定数据块单位长度为4KB。

优选的，还包括：当任一用户需要访问所述物理空间中的目标物理块，则为所述目标物理块创建相应的副本。

优选的，所述生成所述目标物理块的副本之后，还包括：

对与所述目标物理块相对应的副本的总数进行统计；

当与所述目标物理块相对应的副本的总数为零，则删除所述目标物理块。

本发明还公开了一种数据监管系统，包括：

接收模块，用于接收数据块，并保存到缓冲区；

特征信息计算模块，用于利用预设的算法计算出所述数据块的特征信息；

特征信息查找模块，用于在特征信息记录表中查找所述数据块的特征信息，以确定物理空间中是否存在数据内容与所述数据块相同的物理块，其中，所述特征信息记录表为保存所述物理空间中每个物理块相应的特征信息的表；

第一删除模块，用于当所述特征信息查找模块查找到所述数据块的特征信息，则删除所述缓存区中的所述数据块。

优选的，还包括：副本生成模块，用于当任一用户需要访问所述物理空间中的目标物理块，则为所述目标物理块创建相应的副本。

优选的，还包括：

副本统计模块，用于对与所述目标物理块相对应的副本的总数进行统计；

第二删除模块，用于当与所述目标物理块相对应的副本的总数为零，则删除所述目标物理块。