[发明专利]一种减少写入的大文件选择性加密方法

说明书

本发明属于信息安全领域，涉及大文件加密的方法。该方法考虑到大文件的数据庞大，不适合于全部加密，许多数据会选择不加密，为了减少数据的读写，特别是写入，本发明将原明文保存，对加密的部分明文进行覆盖，并且将加密的密文另外存储。由于不同的加密方法有不同的优缺点，全同态加密也不能解决所有的委托计算委托，而且加密的代价大，有些需要采用具有误导功能的加密，有些只需要采用一般对称加密，因此根据需要采用分段选择合适的加密方法，通过规则或者选取，只加密部分数据.同时提出了减少密钥管理且保证安全的优选方案，可以只需要较少的密钥进行文件的加解密。

技术领域

本发明属信息安全领域，涉及一种对大文件进行选择性加密的方法。

背景技术

随着信息技术的发展，一些文件也越来越大。目前非常热门的大数据(big data,mega data)的一些文件也非常大，以Hadoop为例，Hadoop中的文件格式有多种，比较有代表性的是SequenceFile(以及与它相似的文件类型)：SequenceFile是Hadoop API提供的一种二进制文件，它将数据以key,value的形式序列化到文件中。这种二进制文件内部使用Hadoop的标准的Writable接口实现序列化和反序列化。它在大数据环境下的文件格式中有一定代表性,与Hadoop API中的MapFile是互相兼容的。一些大数据文件是实时储存的，比如视频，文件记录储存后，可能会在后面发现一些数据有保密的需要，需要进行加密，但是对大量的数据进行加密明显又是不现实的。针对云计算和大数据的加密方面，目前有代理重加密和同态加密，这些加密都有一定的应用场合，而且有局限性，比如同态加密效率低，冗余度大，现实中应用有较大的局限性，上述的加密方法直接用于加密大规模的数据是不现实的，因为计算量庞大，而且诸如同态加密往往会带来数据的扩展，代价大，重代理加密只适合于特定用户之间的密钥转换，现实中也没有必要将所有的数据进行上述的加密。同态加密比较适用于需要计算的数据的加密，但是代价比较高。用传统的加密方法加密这些数据也存在计算量大等等问题。而且现实中，我们还希望对于某些数据，加密后，密文可以被解密为有意义的错误密文，或者明文的关键内容被替换为其他误导意义的字、词、句子等等，以达到误导的效果，既要避免庞大的工作量，又要保护其中重要的数据，需要采取一定的灵活方法。我们考虑进行选择性的加密，但是一个大的文件往往只需要进行少量数据的加密，部分没有加密的数据没有必要重新写一次，而且大量数据的重写是有代价的,因此在本发明中考虑对进行选择性加密，对被加密的明文覆盖,将密文存储下来，不加密的明文数据原样保存在原始明文中。

发明内容

考虑到减少写入，加密后的文件(或文件集合)包括之前没有加密的明文和被加密后的密文，不加密的明文段(数据块)原样储存，被加密的明文段(数据块)被随机数据覆写，加密的密文段被追加在原文后面或者另外储存在新数据文件集、文件、表等中。

方案1：对文件进行读取，对其数据或者内容进行分段加密，如果无需保密的不加密，如果需要加密的根据其需要采用不同的加密方法，最后保存为密文。加密的总体步骤如下：

1、读取文件，针对文件格式需要,获得相应内容，比如对于文本文件，可以是直接对数据进行加密，对于SequenceFile文件，分别获得key,value，根据需要对数据或者内容进行分块(分段)，比如分块可以是Hadoop中的SequenceFile等文件(流式文件)中包含的一个文件(有时候称为记录record)，或者是xml文件中的一个特性的值，表格中的一个数据项、一行、一列等，TextFile文件格式可以根据分隔符和行结束符分段。

2、根据需要选择是否对数据块进行加密，以及何种加密方式，这个判定可以是机器的，也可以是人工的，比如根据设定的规则进行机器判断或者用户的人工选择，判定大文件的每一个数据块(段)是否需要进行加密，以及采用什么样的方式进行加密。

3、选择已有密钥或者产生密钥，根据选择的方法对各个数据块中需要加密的内容进行加密，加密可以针对于每一块的值，比如某些文件格式中有分隔符，有长度的记录，如果需要明文形式，可以不进行加密。