[发明专利]一种安全可靠的大数据存储系统及方法

权利要求书

1.一种安全可靠的大数据存储系统，其特征在于：包括依次连接的前端采集设备、有线/无线传输设备和后端数据处理设备；所述的前端采集设备包括数据采集模块和加密模块，所述的数据采集模块用于采集数据，所述的加密模块用于对采集到的数据进行加密处理；所述的有线/无线传输设备用于将加密数据发送至后端数据处理设备；所述的后端数据处理设备包括解密模块、存储模块和指纹值数据库创建模块，所述的解密模块用于对接收到的数据进行解密处理，所述的存储模块实现将对象流中的对象进行加密后通过内容比较的方式进行分段，得到多个数据片段，并建立对数据片段到对象的反相引用，或者上传数据片段并将指纹值更新至所述指纹值数据库；所述的指纹值数据库创建模块用于获取大量与待存储数据类型相同的数据，对数据进行与存储模块相同的加密后再进行不同长度的分段，得到多组数据片段，计算数据片段的指纹值并上传至指纹值数据库；

所述的存储模块包括：

加密单元：用于对待存储的文件进行加密，并将加密后得到的对象发送至比较组获取单元；其中，加密前的文件为F＝(d₁，d₂，......，d_N)，是包含N个消息的串，加密后的文件为F’＝(e₁，e₂，......，e_N+1)，e_i为d_i加密后的消息，其中加密的消息I为初始向量，E_K(i)表示基于密钥的加密算法，e_N+1表示之前所有加密消息e₁,e₂,......,e_N的密钥K和哈希的异或函数，即其中H(i)是加密算法；

比较组获取单元：用于获取比较组，所述的比较组为对象的第m位至m+X位；其中，m为比较组的初始位，m的初始值为0，X为固定步长；

比较组指纹值计算单元：用于计算比较组对应的指纹值；

映射关系对应表生成单元：用于对比较组指纹值计算单元计算得到的指纹值生成反映所述指纹值与对应的存储位置的映射关系对应表；

判断与处理单元：用于调用指纹值数据库，判断所述指纹值数据库中是否存在所述指纹值：

(1)如果存在：则将缓存中的指纹值进行更新，将比较组更新为m～m+X+p*n位，同时返回比较组获取单元，其中p为m未更新的情况下的能够对应的总次数，n为每次能够对应后增加的增加步长；

(2)如果不存在，则进一步判断缓存中是否存在指纹值：

如果缓存中存在指纹值，则建立所述指纹值对应的数据片段到所述对象的反向引用，同时清空缓存，将比较组的初始位m更新为m+X+(p-1)*n+1，完成后返回比较组获取单元；

如果缓存中不存在指纹值，则上传所述对象的前X位的数据片段，并将对应的指纹值更新至所述指纹值数据库，将比较组的初始位m更新为m+X+1，完成后返回比较组获取单元；

结束判断单元：用于判断是否完成整个对象的分段，如果是则结束。

2.根据权利要求1所述的一种安全可靠的大数据存储系统，其特征在于：所述的后端数据处理设备还包括：数据分析模块，用于对数据存储的数据按照模型进行分析。

3.根据权利要求1所述的一种安全可靠的大数据存储系统，其特征在于：所述的存储模块还包括一个长度判断与数据处理单元：如果对象的最后一位大于m+X，则进入比较组获取单元；否则：直接计算m位～对象最后一位的指纹值；按照计算得到的指纹值生成反映所述指纹值与对应的存储位置的映射关系对应表；调用指纹值数据库，判断所述指纹值数据库中是否存在所述指纹值：如果是，则建立所述指纹值对应的数据片段到所述对象的反向引用；如果否，则上传所述指纹值对应的数据片段，并将所述指纹值更新至所述指纹值数据库。

4.根据权利要求1所述的一种安全可靠的大数据存储系统，其特征在于：所述的存储模块还包括一个对象头/尾判断单元：用于判断对象头/尾是否为指纹值数据库中常用的数据头/尾，如果是则快速获取指纹值并建立所述指纹值对应的数据片段到所述对象的反向引用，并去掉常用的数据头/尾后进入比较组获取单元。