[发明专利]一种安全可靠的大数据存储系统及方法

摘要

本发明公开了一种安全可靠的大数据存储系统与方法，系统包括依次连接的前端采集设备、有线/无线传输设备和后端数据处理设备；前端采集设备包括数据采集模块和加密模块；有线/无线传输设备用于将加密数据发送至后端数据处理设备；后端数据处理设备包括解密模块、存储模块和指纹值数据库创建模块，存储模块实现加密后对对象进行通过内容比较的方式进行分段，得到多个数据片段，并建立对数据片段到对象的反相引用，或者上传数据片段并将所述指纹值更新至所述指纹值数据库。本发明在现有的加密解密的大数据系统之上，对数据存储进行改进，解决现有技术使用固定分块的形式，利用次数极少但是仍然占用大量空间，使得存储系统的整体利用率不高的问题。

主权项

1.一种安全可靠的大数据存储系统，其特征在于：包括依次连接的前端采集设备、有线/无线传输设备和后端数据处理设备；所述的前端采集设备包括数据采集模块和加密模块，所述的数据采集模块用于采集数据，所述的加密模块用于对采集到的数据进行加密处理；所述的有线/无线传输设备用于将加密数据发送至后端数据处理设备；所述的后端数据处理设备包括解密模块、存储模块和指纹值数据库创建模块，所述的解密模块用于对接收到的数据进行解密处理，所述的存储模块实现将对象流中的对象进行加密后通过内容比较的方式进行分段，得到多个数据片段，并建立对数据片段到对象的反相引用，或者上传数据片段并将指纹值更新至所述指纹值数据库；所述的指纹值数据库创建模块用于获取大量与待存储数据类型相同的数据，对数据进行与存储模块相同的加密后再进行不同长度的分段，得到多组数据片段，计算数据片段的指纹值并上传至指纹值数据库；/n所述的存储模块包括：/n加密单元：用于对待存储的文件进行加密，并将加密后得到的对象发送至比较组获取单元；其中，加密前的文件为F＝(d