[发明专利]文件批量下载方法及装置

说明书

本发明实施例公开了一种文件批量下载方法及装置，通过当接收到文件批量下载请求时，根据第一线程读取对应文件并压缩至第一管道；其中第一线程包括下载子线程，用于根据文件批量下载请求从对象存储服务中下载对应文件，第一管道包括输出流管道，用于保存压缩后的下载文件；根据第二线程将第二管道的对应文件进行分片上传，生成下载链接并返回给用户；其中第二线程包括上传子线程，用于对第二管道的对应压缩文件进行分片上传处理，第二管道包括输入流管道，第一管道和第二管道是连通的。本发明能够直接在内存进行文件的压缩与上传，减少磁盘存储依赖和各种IO的消耗，提升了批量下载的速度，也降低了相关费用。

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种文件批量下载方法、装置、计算机设备和存储介质。

背景技术

互联网诞生至今，产生自互联网中的数字资源越来越多，这也对互联网网络带宽有着更高的要求，但是网络带宽的提升在一定程度上又使得这些数字资源如常见的图片、视频、app也慢慢变得越来越大，如被广大人民所喜爱的iPhone拍摄的一张照片可达14M大，像Mac平台上的软件动辄近1G大，出名的设计软件Adobe Photoshop的psd、psb文件高达1G、2G则是家常便饭。在以这些数字资产为核心的数字资产管理公司内，这些大文件的顺利及较快速流转尤其是批量下载(打包下载)就显得比较重要。通常，目前的互联网公司一般会采用云厂商提供的对象存储服务进行文件的上传存储及下载，但是原生的对象存储服务不提供批量下载功能，企业需要自行设计解决方案。

打包下载一般的解决思路是将对象存储服务上的文件下载下来，再进行压缩，再进行上传。下载下来的存储媒介一般是硬盘，如开发的web应用在进行docker部署时会挂载外部存储，一般是云硬盘或者是网络文件系统。存在以下问题：

1、并发控制，企业开发上述打包下载的应用一般需要考虑并发控制，如成百上千的用户同一时间段进行打包下载，需要考虑应用能够支撑的并发量，考虑文件流同时在内存再到硬盘的过程中可能超过应用运行内存的大小，导致系统OOM，然后系统应用宕机造成系统不可用。

2、挂载的磁盘或文件系统的存储费用，一般云硬盘上传及访问下载都会产生一定费用，有的网络文件系统甚至是对传输速度也有较高的收费标准。

3、磁盘的IO或者网络文件系统的IO次数多，将多个文件从对象存储上下载下来产生网络IO，下载到云硬盘或是文件系统上产生了多次磁盘IO或是网络IO，分别读取文件将文件进行压缩成压缩文件比如.zip文件产生IO，最后将.zip文件一点点上传，产生磁盘IO与网络IO；过多的IO次数势必影响整个打包的速度。

针对上述相关技术中文件批量下载存在的并发控制、存储费用，以及过多的IO次数导致批量下载速度的诸多问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供一种文件批量下载方法、装置、计算机设备和存储介质，用以解决相关技术中文件批量下载存在的并发控制、存储费用，以及过多的IO次数导致批量下载速度的诸多问题。

为了实现上述目的，本发明实施例的第一方面，提供一种文件批量下载方法，包括：

当接收到文件批量下载请求时，

根据第一线程读取对应文件并压缩至第一管道；其中所述第一线程包括下载子线程，用于根据文件批量下载请求从对象存储服务中下载对应文件，所述第一管道包括输出流管道，用于保存压缩后的下载文件；

根据第二线程将第二管道的对应文件进行分片上传，生成下载链接并返回给用户；其中所述第二线程包括上传子线程，用于对所述第二管道的对应压缩文件进行分片上传处理，所述第二管道包括输入流管道，所述第一管道和所述第二管道是连通的。

可选地，在第一方面的一种可能实现方式中，当接收到文件批量下载请求之后，还包括：