[发明专利]一种文件传输方法、系统、设备以及介质

说明书

本发明公开了一种文件传输方法，包括以下步骤：将待传输的大文件拆分成多个小文件；对每一个所述小文件进行编号，并加入到发送队列中；读取所述队列中的小文件以形成文件流；根据读取的小文件的编号确定对应的所述文件流的密钥和待加密的部分以利用所述密钥对所述待加密的部分进行加密；将加密后的文件流传输到目的端。本发明还公开了一种系统、计算机设备以及可读存储介质。本发明提出的方案，通过将大文件拆分成多个小文件，并对每个小文件进行编号，并根据编号确定密钥，这样使得每一个小文件都有独有的编号和密钥，保证了文件传输的绝对安全，同时由于只对文件流的部分进行加密，降低了性能损耗。

技术领域

本发明涉及文件传输领域，具体涉及一种文件传输方法、系统、设备以及存储介质。

背景技术

随着互联网的飞速发展，大规模、超大规模的数据中心越来越成为现代社会发展的需要。在一些金融行业场景中，业务数据不断积累，会生成许多大文件或者超大文件用于存储历史业务数据，由于业务不断升级扩张，需要将数据迁移至另一个大数据集群，用于分担原集群的存储压力，这期间就涉及到容量非常巨大的数据文件跨集群迁移场景，将大量的业务历史数据文件迁移至另一个集群。大文件跨集群传输是普遍存在的一个难题，传输不够稳定，效率不高，以及传输后数据文件的完整性得不到保障。

为了提高传输效率，一般采用将大文件拆分成小文件大文件压缩拆分众多小文件进行传输的方法，但是在传输过程中由于网络原因导致部分文件传输失败，就需要将传输失败的文件加入到源端内存队列中重新传输，文件传输到目的端之后，顺序性无法保证，导致文件恢复的时候出现顺序错乱问题。并且在文件传输过程中，涉及到机密文件或者业务隐私数据，需要通过对文件加密来实现数据的保密性，防止用户的数据被窃取或泄露。常规的加密方案，是对文件进行完全加密，该方案适用于小文件的加密传输，对于大文件来说，要对所有拆分后的文件进行加密，性能将大幅降低；对称加解密算法是公开的，密钥一般也是固定的，一旦密钥泄露，则所有文件都有被拦截泄露的风险。

发明内容

有鉴于此，为了克服上述问题的至少一个方面，本发明实施例提出一种文件传输方法，包括以下步骤：

将待传输的大文件拆分成多个小文件；

对每一个所述小文件进行编号，并加入到发送队列中；

读取所述队列中的小文件以形成文件流；

根据读取的小文件的编号确定对应的所述文件流的密钥和待加密的部分以利用所述密钥对所述待加密的部分进行加密；

将加密后的文件流传输到目的端。

在一些实施例中，根据读取的小文件的编号确定对应的所述文件流的密钥和待加密的部分以利用所述密钥对所述待加密的部分进行加密，进一步包括：

将所述读取的小文件的编号N作为密钥，并将所述文件流中前N位作为待加密部分。

在一些实施例中，还包括：

对所述发送队列进行监听；

响应于所述队列中的小文件的数量达到阈值，停止向所述队列中加入所述小文件。

在一些实施例中，还包括：

响应于所述目的端接收到所述文件流，确定所述文件流对应的编号并利用所述对应的编号对所述文件流中的加密部分进行解密。

在一些实施例中，还包括：

将解密后的文件流加入到所述目的端的接收队列中并形成小文件。

在一些实施例中，还包括：

响应于所述接收队列中小文件的数量达到阈值，将所述接收队列中当前所有的小文件按照编号顺序进行合并以得到中间文件；