[发明专利]一种大文件拆分传输的方法、装置及存储介质

说明书

本发明给出了一种大文件拆分传输的方法、装置及存储介质，包括扫描源端服务器的待传输文件信息，根据中转站中的下载程序预设的下载区间对待传输文件进行切断，把待传输文件按下载区间分片下载至中转站上，设置文件拆分名称规则，对中转站上的分片文件按顺序进行编号，在中转站生成记录有当前传输的分片序号的临时文件，根据临时文件中记载的分片序号，通过中转站中的上传程序把分片文件上传到目标服务器。本发明极大的提升大文件的传输效率，同时节省中转站的存储空间，降低了因存储空间满而造成的文件传输异常。

技术领域

本发明涉及文件传输技术领域，尤其是一种大文件传输的方法、装置及存储介质。

背景技术

对于一些跨安全域的文件传输，目前采用的方案大多是把整个文件传输到中转站后，再转发到另一个安全域的服务器。这种方式可以正常的实现功能，但是随着时代的发展，出现了越来越多的大文件，甚至可达几百G，这时对于文件传输效率的要求也随之提高。而传统的文件传输方案，需要把几百G完全传输到中转站后，再开始下一步转发到另一个安全域，如果这样的大文件有批量的话，对于传输效率和中转站的磁盘空间是个很大的灾难，甚至可能因磁盘空间满而导致文件丢失。

目前传输方案主要存在以下几方面的不足：

1.大文件是串行传输，另一半的带宽浪费，造成传输效率低。

2.对于中转站磁盘空间的压力过大，无法从理论上实现无限大的文件传输

3.通道占用，传输大文件的整个过程中，占用传输流，无法传输其他小文件，造成小文件拥堵。

因此，此种方案已经严重阻碍了跨安全域文件传输性能和稳定性。

发明内容

针对有现有大文件是串行传输，另一半的带宽浪费，造成传输效率低；对于中转站磁盘空间的压力过大，无法从理论上实现无限大的文件传输通道占用，传输大文件的整个过程中，占用传输流，无法传输其他小文件，造成小文件拥堵，对于传输效率和中转站的磁盘空间是个很大的灾难，甚至可能因磁盘空间满而导致文件丢失。本发明提出了一种大文件拆分传输的方法，基于ftp传输协议，在下载传输流中切割生成为分片小文件，另一端把这些小文件进行ftp上传，根据文件序号利用append方式上传，从而实现了大文件的并行传输。通过此种方式，中转站上存储的只是分片文件，大大降低了存储压力，同时小文件也可以穿插在分片小文件中进行传输。

为实现上述目的，根据本发明的一方面，提出了一种大文件拆分传输的方法，包括以下步骤：

S1：扫描源端服务器的待传输文件信息；

S2：根据中转站中的下载程序预设的下载区间对待传输文件进行切断，把待传输文件按下载区间分片下载至中转站上；

S3：设置文件拆分名称规则，对中转站上的分片文件按顺序进行编号；

S4：在中转站生成记录有当前传输的分片序号的临时文件，根据临时文件中记载的分片序号，通过中转站中的上传程序把分片文件上传到目标服务器。

在可选实施例中，S2步骤具体包括以下步骤：

S21：设置待传输文件下载区间；

S22：分片完成下载区间的传输后切断传输；

S23：重复步骤S22，直至最后一个分片；

S24：移除源端服务器文件，结束文件的下载，分片文件下载完成后，可移除源端服务器文件，减少磁盘的空间占用。

在可选实施例中，中转站中的下载程序的下载区间为0-100M，待传输文件的初始传输位置为0。根据实际文件的大小进行下载区间的设置，可以使文件传输的效率得到提高。