[发明专利]一种分布式互联网信息下载系统及方法

说明书

技术领域

本发明涉及计算机技术和互联网数据采集领域，具体涉及一种分布式互联网信息下载系统及方法。

背景技术

随着互联网全民普及率的提高，使用互联网日渐成为人们发布信息、获取信息和传递信息的习惯，互联网已经是各种信息主要载体，它一定程度的反映了社会公众对社会现实的主观情感。在互联网上对于热门事件往往有大量网站对其转载报道，如何在合理利用原有的机器资源，在不增加原有硬件资源的处理性能的条件下，在一定的时间内获取更多的信息已经成为我们新的需求。

现有的下载模型是大多基于单任务单线程和多任务多线程下载，当有任务时，会起动一个线程，然后接收，获取和回送信息。这种的模型比较容易理解和操作，对于任务量不多时，可以很好的利用线程来控制下载，并且容易跟踪获取信息的整个过程。但是这种模型的不足之处是消耗大量的系统资源，对机器的要求比较高。因为接到一个任务就要启动一个线程来接收和执行任务,并且对于接收任务的数量和机器的性能有很大的关系。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种分布式互联网信息下载系统及方法，有效提高信息下载的效率。

为实现上述目的，本发明采用的技术方案如下：

一种分布式互联网信息下载系统，包括用于接收与转发用户的下载任务信息、以及将任务结果信息回送给用户的分发子系统，以及用于接收分发子系统发送的下载任务信息并根据下载任务信息下载任务结果信息的下载子系统。

进一步，如上所述的一种分布式互联网信息下载系统，所述的分发子系统设置在分发服务器中，下载子系统设置在一台或多台工作站中。

进一步，如上所述的一种分布式互联网信息下载系统，所述的分发子系统包括，

分发内存模块：用于向分发服务器申请用于保存下载任务信息和任务结果信息的分发内存空间；

接收任务模块：用于接收用户的下载任务请求并将下载任务信息保存到分发内存空间；

分发模块：用于将下载任务信息发送到下载子系统；

接收结果模块：用于接收下载子系统返回的任务结果信息，并将任务结果信息保存到分发内存空间；

分发回送模块：用于向用户返回任务结果信息。

进一步，如上所述的一种分布式互联网信息下载系统，所述的下载子系统包括，

下载内存模块：用于向工作站申请用于保存任务下载信息和任务结果信息的下载内存空间；

接收模块：用于接收分发子系统下发的下载任务，并将下载任务信息保存到下载内存空间；

下载模块：用于根据下载任务信息下载互联网数据，得到任务结果信息，并将任务结果信息保存到下载内存空间；

下载回送模块：用于将任务结果信息返回分发子系统。

进一步，如上所述的一种分布式互联网信息下载系统，所述的分发子系统还包括，

验证模块：用于解析并验证接收任务模块所接收到的下载任务信息以及接收结果模块接收到的任务结果信息的合法性；

监控模块：用于监控下载任务信息的下发情况；如果下载任务信息下发完成或超时，监控模块通知分发内存模块删除该下载任务信息并回收分发内存空间。

进一步，如上所述的一种分布式互联网信息下载系统，所述的下载子系统还包括，

解析模块：用于解析并验证接收模块所接收到的下载任务信息的合法性。

一种分布式互联网信息下载方法，包括以下步骤：

（1）分发子系统接收用户的下载任务信息，并将下载任务信息发送到下载子系统；

（2）下载子系统根据下载任务信息下载互联网数据，得到任务结果信息，并将任务结果信息发送到分发子系统；

（3）分发子系统接收任务结果信息，并将任务结果信息回送到发起请求的用户。

进一步，如上所述的一种分布式互联网信息下载方法，步骤（1）中，分发子系统将任务下载信息发送到下载子系统的具体步骤包括：

（1-1）分发内存模块申请分发内存空间；

（1-2）任务接收模块接收用户的下载任务请求，并将接收到下载任务信息保存到分发内存空间中；

（1-3）分发模块在分发内存空间中查找下载任务信息，并将下载任务发送到下载子系统。

进一步，如上所述的一种分布式互联网信息下载方法，下载子系统根据下载任务信息下载任务结果信息并发送到分发子系统的具体步骤包括：

（2-1）下载内存模块申请下载内存空间；

（2-2）接收模块接收分发子系统下发的下载任务，并将下载任务信息保存到下载内存空间中；