[发明专利]一种通用文件传输系统及其实现方法

说明书

技术领域

本发明属于信息技术领域，涉及一种高效、可靠、具有可伸缩性和可移植性的文件传输系统。同时，本发明还涉及一种上述文件传输系统的优化实现方法。 

背景技术

随着组织对数据的安全性越来越重视，数据备份的应用需求也越来越多，对数据备份的效率和可靠性也越来越关注，这就需要一种通用的文件传输系统，它既能提供统一的接口支持不同的备份应用，又能动态自适应备份应用的各种规模，同时还能保证文件传输的高效可靠。

目前针对数据备份的各种应用，都是各自有一套自己的处理方法，重复工作加大了部署各种应用的复杂性，同时，系统的移植性也相当的差。

目前针对数据备份的基本需求及实现，一般都是单向备份，能做到双向互备份的应用程序逻辑就已经相当复杂了，如果再实现动态自适应自身的规模变化，会导致相关应用的程序逻辑太过复杂，降低了系统的可靠性，同时，系统的可伸缩性也太差。

目前针对数据备份的基本功能，应用程序关心更多的是应用逻辑，有关效率的问题还没有从系统层面加以综合考虑和优化，文件传输速度太慢，文件传输长时间没响应甚至传输失败等时有发生。

现有的文件传输服务如FTP，SCP等，应用程序调用较为复杂；而且文件传输都是同步等待；文件的信息管理和并发逻辑等都需要上层应用关心；对文件传输的效率也没有专门做优化等等。

综上所述，诸多问题促使我们需要一种高效、可靠、具有可伸缩性和可移植性的文件传输系统。 

发明内容

本发明所要解决的技术问题是：提供一种通用的文件传输系统，可实现对各种数据备份应用的响应，同时能动态自适应数据备份应用的各种规模，并能保证文件传输的高效可靠。

另外，本发明还提供上述通用文件传输系统的优化实现方法。

为实现本发明的第一目的，本发明采用如下技术方案：

一种通用文件传输系统，包括：用户接口模块，用于获取用户目录或文件的发送请求；目录信息管理模块，读取所述目录发送请求信息的目录信息，将上述目录或文件的信息加入到文件发送队列之中；文件队列模块，所述文件队列模块包括文件发送队列和文件接收队列；线程池模块和连接池模块，用于提供发送文件的线程和连接；以及，文件处理优化传输模块，从文件发送队列中取出文件，发送文件信息及文件数据块，同时，在接收端接收到文件信息及文件数据块，加入文件接收队列之中。

进一步地，优选的结构是，所述文件处理优化传输模块包括：

文件分发和接收模块； 用户选项管理模块；以及，大文件分块传输模块，将大文件切割成多块并将每块压缩后进行传输，然后接收端对上述文件块进行解压缩，再将接收到的多块数据进行合并；以及，小文件合并传输模块，将多个小文件压缩成一个文件进行传输，然后接收端对上述文件进行解压缩。

进一步地，优选的结构是，在所述线程池模块和连接池模块之中，一个发送端和一个接收端之间有一个相应的连接池；所述线程池模块中的线程动态增加或减少。

进一步地，优选的结构是，还包括有消息发送模块和消息接收模块，所述消息发送和接收模块从线程池和连接池中选择可用的线程和连接发送消息和接收消息。

进一步地，优选的结构是，还设置有异常处理模块，所述异常处理模块确定异常并决定是否重做文件或返回用户结果。

为实现本发明的第二目的，本发明提供了一种通用文件传输系统的实现方法，其具体技术方案如下面所描述：

一种通用文件传输系统的实现方法，其包括如下步骤：获取用户目录发送或文件发送请求；读取并获得所述目录或文件发送请求信息，将上述目录或文件发送请求信息加入到文件发送队列之中；从文件发送队列中取出文件；根据用户的选项或者自动判断是否直接传送或者压缩或者合并；以及，从连接池和线程池中选择可用的连接和线程发送文件信息及文件数据块。

进一步地，优选的方法是，还设置有异常处理步骤，轮循文件队列中各文件当前状态，在文件传输结束后删除相关文件信息，并确定当前文件传输是否异常，重做该文件直到超过设定的尝试次数。

本发明的有益效果在于：本发明提出的通用文件传输系统及其实现方法，可实现对不同备份应用的优化响应，能简化相关应用的部署，系统具有很好的移植性；可动态自适应备份应用的各种规模，系统具有很好的伸缩性；同时可实现对文件处理的优化，保证文件传输的高效可靠。

 附图说明

通过下面结合附图来对本发明进行更进一步详细的描述，本发明的上述优点和技术效果将变得更加明显。

图1为本发明通用文件传输系统的组成示意图；

图2为本发明文件传输系统在NAS存储中的实现图；