[发明专利]一种安全可靠的大数据存储系统及方法

说明书

本发明公开了一种安全可靠的大数据存储系统与方法，系统包括依次连接的前端采集设备、有线/无线传输设备和后端数据处理设备；前端采集设备包括数据采集模块和加密模块；有线/无线传输设备用于将加密数据发送至后端数据处理设备；后端数据处理设备包括解密模块、存储模块和指纹值数据库创建模块，存储模块实现加密后对对象进行通过内容比较的方式进行分段，得到多个数据片段，并建立对数据片段到对象的反相引用，或者上传数据片段并将所述指纹值更新至所述指纹值数据库。本发明在现有的加密解密的大数据系统之上，对数据存储进行改进，解决现有技术使用固定分块的形式，利用次数极少但是仍然占用大量空间，使得存储系统的整体利用率不高的问题。

技术领域

本发明涉及一种安全可靠的大数据存储系统及方法。

背景技术

云计算是一种全新的领先信息技术，结合IT技术和互联网实现超级计算和存储能力，而推动云计算兴起的动力是高速互联网和虚拟化技术的发展，更加廉价且功能强劲的芯片及硬盘、数据中心的发展。云计算可以看作是分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡等传统计算机和网络技术发展融合的产物。云计算涉及的关键技术有很多，包括：通信、大规模分布式存储技术、海量数据处理技术、资源管理、虚拟化技术等。

大数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据具有4V特点：Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。

内容寻址存储(Content Addressed Storage，CAS)是由美国EMC公司2002年4月率先提出的针对固定内容存储需求的先进的网络存储技术。CAS具有面向对象存储特征，基于磁记录技术，它按照所存储数据内容的数字指纹寻址，具有良好的可搜索性、安全性、可靠性和扩展性。EMC同时推出了其CAS产品Centera，并成为CAS存储技术的代表性产品。之后，一些存储公司相继推出了相关的产品，使CAS技术备受关注。

现有技术的加密操作并不进行双层加密，只在数据传输或者数据存储时进行加密。同时，现有技术的CAS，通常直接对对象进行固定分块的方式进行数据分片，采用该方式虽然可以节约分块的时间，然而如果是采用该种方法，会存在特别多固定分块，其利用次数极少但是仍然占用大量空间，使得存储系统的整体利用率不高，尤其是在大数据的基础上以及对于各种常用属性的组合的时候会产生上述问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种安全可靠的大数据存储系统及方法，采用双层加密操作，分别在数据传输之前以及数据存储之前进行加密，并且对数据存储进行改进。

本发明的目的是通过以下技术方案来实现的：

一种安全可靠的大数据存储系统，包括依次连接的前端采集设备、有线/无线传输设备和后端数据处理设备；所述的前端采集设备包括数据采集模块和加密模块，所述的数据采集模块用于采集数据，所述的加密模块用于对采集到的数据进行加密处理；所述的有线/无线传输设备用于将加密数据发送至后端数据处理设备；所述的后端数据处理设备包括解密模块、存储模块和指纹值数据库创建模块，所述的解密模块用于对接收到的数据进行解密处理，所述的存储模块实现将对象流中的对象进行加密后通过内容比较的方式进行分段，得到多个数据片段，并建立对数据片段到对象的反相引用，或者上传数据片段并将所述指纹值更新至所述指纹值数据库；所述的指纹值数据库创建模块用于获取大量与待存储数据类型相同的数据，对数据进行与存储模块相同的加密后再进行不同长度的分段，得到多组数据片段，计算数据片段的指纹值并上传至指纹值数据库；

所述的存储模块包括：