[发明专利]网络资源文件的离线下载系统和方法

说明书

技术领域

本发明涉及网络数据通信技术，尤其涉及一种网络资源文件的离线下载系统和方法。

背景技术

网络资源一般是指存储在网络上供用户下载使用的数字化资源，包括：程序文件、视频文件、音频文件等。目前下载网络资源的常用方式包括以下几种：

(一)点对服务器技术(P2S，Peer to Server)，所有的网络资源都存储在某个大型下载网站的服务器中，用户直接到该下载网站去下载资源文件，该种方式的下载速度可以得到保证，但资源分散、不易搜索。

(二)点对点技术(P2P，Peer-to-Peer)，又称为对等技术。这种技术依赖网络资源下载参与者设备的计算能力和带宽，而不是把依赖都聚集在较少的几台服务器上。P2P技术在文件共享和下载方面得到了广泛的应用。P2P一端的下载速度和另一端的上传速度密切相关，由于中国用户大多使用ADSL上网，ADSL的上传速度并不快，仅几十K速度，一些用户还会人为限制上传速度，这导致了P2P方式的上传带宽资源的缺乏，因此用户会普遍感觉P2P的速度较慢慢。

(三)点对服务器和点(P2SP，Peer to Server&Peer)技术，就是下载不再像传统方式那样只能依赖服务器，内容的传递可以在网络上的各个终端机器中进行。P2SP除了包含P2P以外，还包括服务器，即P2SP的“S”。P2SP有效地把原本孤立的服务器和其镜像资源以及P2P资源整合到了一起。它在下载的稳定性和下载的速度上，都比传统的P2P或P2S有了非常大的提高。P2SP基于用户对服务器和用户机制，不同于P2P，也不同于P2S，它不但支持P2P技术，同时还通过检索数据库(DB，data base)把服务器资源和P2P资源整合到了一起，用户下载一个文件的时候，会自动搜索其他资源，选择合适的资源进行加速，这使得P2SP在下载的稳定性和下载的速度上，比传统的P2P有了非常大的提高。

在P2SP技术当中，下载一个网络资源文件，数据来源分为源下载链接、P2P网络、第三方镜像的辅助源，然后通过完整文件的唯一标识，比如通过消息摘要算法第五版(MD5)或者安全散列算法(SHA)计算得到的唯一标识，把文件统一串联起来。图1为现有的P2SP技术中网络资源分享和下载的具体控制流程图。参见图1，所述P2SP网络中包括下载客户端、资源索引服务器、追踪(Tracker)服务器、以及统计服务器。

所述下载客户端主要用于：(11)定期向Tracker服务器汇报在线情况和本地拥有的资源信息；(12)通过源URL向资源索引服务器查询多资源URL集合、HASH及文件校验信息，从URL集合源下载数据；(13)同时向Tracker服务器查询种子(Peer)；(14)完成下载任务后，向统计服务器汇报本次下载任务的下载时间、下载速度、下载结果、文件大小，下载的源链接和不同URL源获取的下载速度和下载时间；(15)下载过程当中发现下载到完成的数据分片后，进行校验，如果发现分片错误，向统计服务器上报。

所述资源索引服务器主要用于：(21)接收下载客户端(包括云端的离线下载服务器)通过URL作为索引的入口查询文件HASH；(22)接收下载客户端(包括云端的离线下载服务器)通过URL作为索引的入口查询下载的多URL资源集合；(23)提供分片文件校验信息，供下载客户端校验下载数据的有效性。

所述资源索引数据库主要用于：保存P2SP系统中所有URL资源数据库的索引和资源记录。

所述Tracker服务器用于：(31)为每个申请加入网络的下载客户端提供注册，并反馈其所拥有该资源节点的IP地址列表；(32)接收下载客户端的在线情况汇报，生成各资源的节点列表并在有节点申请下载该任务时进行反馈；(33)接收带宽调度服务器同步的Peer在线控制策略，在Peer登陆的时候下发到Peer下载客户端。

所述统计服务器用于：接受下载客户端的下载完成和下载过程中URL下载速度，下载时间，连通情况，下载结果，文件大小等信息的上报，并写成流水日志的方式供后续统计分析。