[发明专利]一种大容量文件传输方法

说明书

技术领域

本发明涉及计算机网络技术领域，具体地说，本发明特别涉及一种文件传输方法。

背景技术

目前，大多数企业的经营都涉及到多种性质不同的业务，因此在企业内部的计算机网络中，通常形成多个业务应用子网来分别满足这些业务的需求，而数据需要在各子网之间需要共享或者传输。以广电行业为例，当前国内外广电行业在信息化方面的总体发展方向是：网络化、信息化，根据在电视台的实际业务中涉及多种性质不同的业务需求，电视台内部形成多个业务应用子网来满足电视台“采、编、播、存、管”的整个电视工艺流程。其中，节目素材需要子网之间共享或者传输，因此，对文件传输方式需要一种合理可行的模式，而现有技术没有很好地解决这一问题。

首先，传统的文件传输方式一般是在两个子网不同应用系统之间点对点的通信和传输，一般这种情况下，两个系统都需要提供客户端和服务端程序，当需要进行文件传输的系统个数增加时，增加各个系统负担和运行成本。此种模式下，系统之间关联的数量是[N(N-1)]/2，每当增加一个应用系统时，系统的关联度增加N(参考图1和图2)，并需要在所关联系统上分别提供对新增系统的客户端和服务端程序。

再者，目前通用的文件传输协议不能很好的支持大容量文件传输。目前通用的文件传输技术包括文件拷贝、FTP文件传输协议、TCP/IP传输协议等。文件拷贝的方式，通常用于同一子网开放权限的两个传输终端之间的文件传输。而企业(如电视台)内部的业务板块网通常是各自组建，并且基于网络安全和数据安全的需要，具有较为严格的权限控制策略。因此，文件拷贝的方式，不适合用来打通电视台业务板块之间的数据互通，而且也不具有跨平台性。FTP(File Transfer Protocol)是Internet传统的服务之一，但是如果在系统内部架设FTP服务器，并不具有较好的扩展性，如果专门开发应用程序使用FTP协议进行文件传输在文件完整性校验上也不具备足够的灵活性。

最后，在文件传输过程中，有时会出现数据丢失(或损坏)的问题，为解决这一问题，需要对接收到的文件数据进行完整性验证。常见的数据完整性验证算法包括：MD5和SHA1。SHA1算法对路由器等网络组件的要求较高。而MD5是由RSA发明的一种消息摘要算法，具有快速和高效的优点。另外，使用JAVA语言开发的应用程序，可以方便的嵌入MD5算法。目前，Internet上很多国外的网站提供的下载资源都会同时提供一个md5验证文件。在接收端对整个文件进行一次md5编码，一旦验证失败，则将文件重新传输一遍。这种完整性校验方法能够有效地防止数据丢失(或损坏)，但当传输的文件数据量较大时，特别是传输媒体文件时，重新传输整个文件将耗费大量的资源，极大地影响传输速度，甚至还会造成网络拥塞，因此，迫切需要一种适合于大数据量文件传输的完整性验证方法。

发明内容

本发明的目的是克服现有技术的不足，解决跨网段数据传输、大数据量文件传输、文件数据的完整性保证和传输安全性等方面的技术问题，从而提供一种适合于大容量数据的文件传输方法。

为实现上述发明目的，本发明提供的大容量文件传输方法，该方法基于Xfer网络构架实现，该网络构架包括通过总线连接的主干网和多个板块网；每个所述板块网至少包括一个xPeer服务器和多个应用节点，所述主干网包括M-Peer服务器；所述大容量文件传输方法包括如下步骤：

1)一个应用节点(下文中将其称为接收节点)请求传输另一应用节点(下文中将其称为服务节点)中的文件；

2)所述接收节点所在板块网的xPeer服务器对携带所述请求的信令进行封装，然后与所述服务节点所在板块网的xPeer服务器进行通信，在所述主干网的M-Peer服务器的调度下，将所述文件通过总线传输至所述接收节点所在板块网的xPeer服务器上；

3)所述接收节点从所在板块网的xPeer服务器获取所述文件。

上述技术方案中，所述步骤2)中，各板块网的xPeer服务器采用SimpleFTP协议进行通信，所述SimpleFTP协议的程序包包括命令模块、文件查验模块、数据传输模块、完整性验证模块和错误重传模块。

上述技术方案中，基于SimpleFTP协议的文件传输过程如下：

21)在所述命令模块，发送获取文件信息消息，该消息中携带需要验证的远程文件的文件名；

22)在所述文件查验模块，返回服务应答消息，该应答消息中携带所述远程文件的数据量大小的信息；