[发明专利]一种大数据文件的压缩加密方法

说明书

本发明属于信息安全领域，涉及大数据文件加密的方法。由于大数据文件数据庞大，全部加密计算量太大而不易实现，所以进行选择性加密，为了减少数据的读写，特别是写入，本发明将原明文保存，对加密的部分明文进行覆盖，并且将压缩加密的密文另外存储。由于不同的加密方法有不同的优缺点，全同态加密也不能解决所有的委托计算委托，而且加密的代价大，有些需要采用具有误导功能的加密，有些只需要采用一般对称加密，因此根据需要采用分段选择合适的加密方法，通过规则或者选取，只加密部分数据.同时提出了减少密钥管理且保证安全的优选方案，可以只需要较少的密钥进行文件的加解密。同时加密前引入了压缩，以减少数据存储空间，减少加密的计算量，增强安全性。

技术领域

本发明属信息安全领域，涉及一种对大数据文件进行选择性压缩和加密的方法。

背景技术

随着信息技术的发展，一些文件越来越大,信息化社会中大数据信息安全问题也是越来越重要，如何保证大型文件信息安全成为热点问题。例如Hadoop平台，具有代表性的Hadoop文件类型SequenceFile（以及与它相似的文件类型）是Hadoop API提供的一种二进制文件，其数据以key,value的形式序列化到文件中。利用Hadoop 的标准的Writable 接口为二进制数据文件实现序列化和反序列化。它在大数据环境下的文件格式中有一定代表性,与Hadoop API中的MapFile 是互相兼容的。一些大数据文件是实时储存的，比如语音，文件记录储存后，可能会在后面发现一些数据有保密的需要，需要进行加密，但是对大量的数据进行加密明显又是不现实的。根据云计算和大数据的加密有代理重加密和同态加密，每种加密都有一定局限性及对应的应用场合，比如同态加密效率低，冗余度大，工程应用有较大的局限性，由于计算量巨大，而且诸如同态加密往往会带来数据的扩展，代价大，重代理加密只适合于特定用户之间的密钥转换，现实中没有必要将所有的数据进行上述的加密，同态加密比较适用于需要计算的数据的加密，但是代价比较高。用传统的加密方法加密这些数据也存在计算量大等等问题。所以利用上述加密方法直接加密大规模数据文件并不适合。现实中，时常需要对于某些数据，加密后，密文可以被解密为有意义的错误密文，或者明文的关键内容被替换为其他误导意义的字、词、句子等等，以达到误导的效果，既要避免庞大的工作量，又要保护其中重要的数据，需要采取一定的灵活方法。采用压缩可以减少数据存储空间，减少加密的计算量，同时增强加密的安全性。我们考虑进行选择性的压缩和加密，但是一个大的文件往往只需要进行少量数据的加密，部分没有加密的数据没有必要重新写一次，而且大量数据的重写是有代价的,因此在本发明中考虑进行压缩加密，对被加密的明文覆盖,将密文存储下来，不加密的明文数据原样保存在原始明文中。

发明内容

考虑到减少写入，加密后的文件(或文件集合)包括之前没有加密的明文和被压缩加密后的密文，不加密的明文段(数据块)原样储存，被压缩加密的明文段(数据块)被随机数据覆写，压缩加密的密文段被追加在原文后面或者另外储存在新数据文件集、文件、表等中。其中加入压缩，以减少数据存储空间，减少加密的计算量，增强安全性。

方案1：对文件进行读取，对其数据或者内容进行分段加密，如果无需保密的不加密，如果需要加密的根据其需要采用不同的加密方法，最后保存为密文。加密的总体步骤如下：

1、读取文件，针对文件格式需要,获得相应内容，比如对于文本文件，可以是直接对数据进行加密，对于SequenceFile文件，分别获得key,value，根据需要对数据或者内容进行分块（分段），比如分块可以是Hadoop中的SequenceFile等文件（流式文件）中包含的一个文件（有时候称为记录record），或者是xml文件中的一个特性的值，表格中的一个数据项、一行、一列等，TextFile文件格式可以根据分隔符和行结束符分段。

2、根据需要选择是否对数据块进行加密，以及何种加密方式，这个判定可以是机器的，也可以是人工的，比如根据设定的规则进行机器判断或者用户的人工选择，判定大文件的每一个数据块（段）是否需要进行加密，以及采用什么样的方式进行加密。