[发明专利]一种数据传输方法及相关设备

说明书

本申请公开了一种数据传输方法及相关设备，用于提高目录遍历速度，提高了数据查找和数据修复的效率。方法包括：第一设备根据预置的多线程层序遍历算法和需要传输的目标数据的大小生成二维索引表，二维索引表用于指示目标数据中各个数据的存储位置；第一设备根据二维索引表对目标数据进行数据重组，得到二维数据块池，二维数据块池包括多个数据块，每个数据块分别对应二维索引表的一个坐标值；第一设备通过所述二维索引表索引到多个数据块并发送至第二设备。

技术领域

本申请涉及通信领域，尤其涉及一种数据传输方法及相关设备。

背景技术

数据传输是一种基础通信服务，大部分计算机服务都需要利用数据传输服务。由于传统的文件传输协议(file transfer protocol，FTP)服务器在广域网中的文件传输效率低，现有的业务系统在广域网中的文件传输速率(300KB/s左右)与业务系统在本地的文件传输速率(6MB/s左右)差距数十倍，广域网的文件传输速率已经不能满足不断增长的业务，广域网数据传输已经成为阻碍业务系统增长的瓶颈，因此对广域网文件传输速率进行性能改进。广域网的数据传输应用都面临着低带宽和连接不稳定、传输批量小文件时存在的负载过重的问题。为了解决该问题，一般通过通道复用机制减少连接次数达到高效批量小文件传输。但是，对于大文件的传输，上、下载超过1G文件时存在的数据拥塞问题，示例性的，如图1所示，为下载1G以上文件产生数据拥塞现象的示意图。

现有方案中，采用线性文件分块解决方案避免拥塞，并采用哈希树(Hash Tree)方式快速识别文件内容是否准确，保证文件内容的准确性，例如，如图2所示，采用安全哈希算法(secure Hash algorithm，SHA)将数据大小为6.5MB的1个大文件数据划分为多个小文件数据，其中，哈希值的大小为256位，具体包括6个1MB大小和1个0.5MB大小的小文件数据。

但是，因为哈希树的规模(哈希树的深度)与文件的大小正相关，文件越大，哈希树的规模越大，需要遍历哈希树找到识别文件块花费的时间越长，目录遍历速度慢，查找效率低，并且当传输出现问题，进行重传的时间长，数据修复效率低。

发明内容

本申请实施例提供了一种数据传输方法及相关设备，用于提高目录遍历速度，提高了数据查找和数据修复的效率。

本申请第一方面提供了一种数据传输方法，包括：第一设备根据预置的多线程层序遍历算法和需要传输的目标数据的大小生成二维索引表，该二维索引表用于指示目标数据中各个数据的存储位置，其中，目标数据可以包括一个或多个目录，或者复杂多层目录，或者单个文件，或者多个文件；第一设备根据该二维索引表对目标数据进行数据重组，得到二维数据块池，该二维数据块池包括多个数据块，每个数据块分别对应二维索引表的一个坐标值，每一个数据块在二维索引表中的坐标值都不同；第一设备通过二维索引表索引到二维数据块池中的多个数据块并发送至第二设备。第一设备将需要进行传输的目标数据重组得到二维数据块池，第一设备能够根据二维数据块池快速定位到每一个数据块，并将该二维数据块池发送至第二设备，减少了数据遍历花费的时长，提高了数据查找的效率，进而提高了数据传输效率。

在一种可能的设计中，在本申请实施例第一方面的第一种实现方式中，第一设备根据预置的多线程层序遍历算法和需要传输的目标数据的大小生成二维索引表包括：第一设备根据预置的多线程层序遍历算法对需要传输的目标数据进行遍历，得到数据目录，该数据目录包括至少一层目录；第一设备根据目标数据的大小和至少一层目录确定二维索引表的横坐标和纵坐标，该二维索引表的纵坐标用于指示目标数据的分组数量，该二维索引表的横坐标用于指示每个分组对应的数据块数量；第一设备生成二维索引表，该二维索引表的纵坐标用于指示分组数量，该二维索引表的横坐标用于指示每个分组对应的数据块数量。对第一设备生成二维索引表的过程进行了细化，提供了具体的实现方式，增加了本申请的实现方式。