[发明专利]数据发送方法、系统

说明书

本申请涉及一种数据发送方法、系统。方法包括：发送端获取待发送的文件数据，并对文件数据进行分块，得到至少一个文件数据块；发送端针对每个文件数据块，创建对应的数据块压缩任务，并将数据块压缩任务添加至任务处理队列；发送端通过多个线程并发执行任务处理队列中的数据块压缩任务，得到对应的压缩数据块，并将压缩数据块发送至接收端列表中与发送端距离最近的目标接收端；接收端列表中包括多个按照与发送端间的距离排列的接收端；目标接收端将压缩数据块转发至接收端列表中与发送端距离次近的接收端，直至各接收端均收到压缩数据块。采用本方法能够缩短文件从发送端传递至各个接收端所需的时间。

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据发送方法、系统。

背景技术

随着计算机技术的发展，对于分布式系统，常常需要将文件从系统中的发送端发送至多个系统中的接收端，为了降低发送的数据量，发送端通常将文件数据压缩后再进行发送。传统方法中，发送端对较大的文件数据进行压缩时，压缩时间较长，并且发送端在压缩完成后，依次将压缩文件发送至每个接收端，发送至接收端的速度受限于发送端的网络带宽，发送文件时，占用了较长时间。

发明内容

基于此，有必要针对上述技术问题，提供一种能够缩短发送时间的数据发送方法、系统。

一种数据发送方法，所述方法包括：

发送端获取待发送的文件数据，并对所述文件数据进行分块，得到至少一个文件数据块；

所述发送端针对每个所述文件数据块，创建对应的数据块压缩任务，并将所述数据块压缩任务添加至任务处理队列；

所述发送端通过多个线程并发执行所述任务处理队列中的数据块压缩任务，得到对应的压缩数据块，并将所述压缩数据块发送至接收端列表中与所述发送端距离最近的目标接收端；所述接收端列表中包括多个按照与所述发送端间的距离排列的接收端；

所述目标接收端将所述压缩数据块转发至所述接收端列表中与所述发送端距离次近的接收端，直至各接收端均收到所述压缩数据块。

在一个实施例中，所述方法还包括：

当所述目标接收端接收到所述压缩数据块时，通过解压缩线程池中的线程对各所述压缩数据块进行解压缩，并将解压缩后的数据块存入对应的文件。

在一个实施例中，所述发送端与所述接收端列表中各接收端上均部署了对应的代理程序；所述得到对应的压缩数据块之后，所述方法还包括：

所述发送端将所述压缩数据块存入环形队列；

所述将所述压缩数据块发送至接收端列表中与所述发送端距离最近的目标接收端包括：

所述发送端通过线程从所述环形队列中依次提取各所述压缩数据块，并通过部署在所述发送端上的代理程序将所提取的压缩数据块发送至部署在所述目标接收端上的代理程序；

所述目标接收端将所述压缩数据块转发至所述接收端列表中与所述发送端距离次近的接收端包括：

通过部署在所述目标接收端上的代理程序将所述压缩数据块转发至与所述发送端距离次近的接收端上部署的代理程序。

在一个实施例中，所述将所述压缩数据块发送至接收端列表中与所述发送端距离最近的目标接收端包括：

所述发送端将所述压缩数据块存入发送端内核缓冲区，并从发送端内核缓冲区复制到发送端网络层缓冲区；

所述发送端将所述发送端网络层缓冲区中的压缩数据块发送至所述目标接收端，并存储于接收端内核缓冲区；

所述目标接收端将所述压缩数据块转发至所述接收端列表中与所述发送端距离次近的接收端包括：