[发明专利]网页资料下载控制系统及方法

说明书

技术领域

本发明涉及一种网页资料下载控制系统及方法。

背景技术

随着互连网的运用，从网站上下载各种资料到数据库越来越普遍，通常下载的资料不是 在一个页面显示，而是分成很多页，在实际的操作过程中，每次下载都是从头到尾执行一遍 ，即从第一页到最后一页都执行一遍，对于已经下载过的资料，重复执行，效率不高，且浪 费网络资源。

发明内容

鉴于以上内容，有必要提供一种网页资料下载控制系统，通过比较下载资料列表中的资 料条数和所生成的下载资料的命令数来控制网页的翻动。

此外，还有必要提供一种网页资料下载控制方法，通过比较下载资料列表中的资料条数 和所生成的下载资料的命令数来控制网页的翻动。

一种网页资料下载控制系统，包括应用服务器及与该应用服务器相连的数据库，该应用 服务器包括：设置模块，用于设置资料下载控制参数，所述的资料下载控制参数包括需要下 载的资料的网站地址及允许下载的时间范围；解析模块，用于解析设置的网站地址下的一个 网页的资料列表；获取模块，用于获取解析得到的该资料列表的资料信息，所述资料列表的 资料信息包括各条资料的发布时间；计算模块，用于计算所述资料列表中全部资料的条数； 判断模块，用于通过获取的资料信息来判断所述资料列表中的各条资料是否已经被下载在数 据库中，及根据各条资料的发布时间判断该资料列表中的各条资料是否在允许下载的时间范 围之内；生成模块，用于生成所述资料列表中还在允许下载的时间范围之内且没有被下载的 资料的脚本语言下载命令；下载模块，用于通过生成的脚本语言下载命令下载对应的资料， 并将下载的资料保存至数据库中；所述计算模块，还用于计算生成的脚本语言下载命令数； 所述判断模块，还用于判断所述资料列表中资料的条数是否等于生成的脚本语言下载命令数 ；翻页模块，用于当所述资料列表中资料的条数等于生成的脚本语言下载命令数时，执行网 页的翻页动作。

一种网页资料下载控制方法，该方法包括如下步骤：设置资料下载控制参数，所述的资 料下载控制参数包括需要下载的资料的网站地址及允许下载的时间范围；解析设置的网站地 址下的一个网页的资料列表；获取解析得到的该资料列表的资料信息，所述资料列表的资料 信息包括各条资料的发布时间；计算该资料列表中全部资料的条数；通过获取的资料信息来 判断所述资料列表中的各条资料是否已经被下载在数据库中，及根据各条资料的发布时间判 断该资料列表中的各条资料是否在允许下载时间范围之内；若资料列表中有资料没有被下载 ，且所述没有被下载的资料的发布时间在允许下载时间范围之内，则生成所述还在允许下载 的时间范围之内且没有被下载的资料的脚本语言下载命令；通过生成的脚本语言下载命令下 载对应的资料，并将下载的资料保存至数据库中；计算生成的脚本语言下载命令数；判断所 述资料列表中全部资料的条数是否等于生成的脚本语言下载命令数；若所述资料列表中全部 资料的条数等于生成的脚本语言下载命令数，则执行翻页动作。

相较于现有技术，所述的网页资料下载控制系统及方法，其可通过解析的网页中是否有 已经下载的资料判断是否要翻页，避免了程序每次都从第一页到最后一页都执行一遍的繁琐 步骤，提高了下载的效率，节约了网络资源。

附图说明

图1是本发明网页资料下载控制系统的较佳实施例的硬件框架图。

图2是图1中应用服务器的功能模块图。

图3是本发明网页资料下载控制方法的较佳实施例的流程图。

具体实施方式

如图1所示，是本发明一种网页资料下载控制系统较佳实施例的硬件架构图。该系统包 括应用服务器1、数据库2、客户端3、防火墙4及网络5。该应用服务器1通过防火墙4与网络 5相连，用于下载网站上发布的资料，并将所述下载的资料保存至数据库2中。该应用服务器 1可以是个人计算机、网络服务器，还可以是任意其它适用的数据处理设备。该防火墙4用于 管控网络5的信息安全。该网络5可以是因特网也可以是局域网。

该应用服务器1与数据库2相连，该数据库2用于存储应用服务器1所下载的资料，该数据 库2可以内置于应用服务器1，也可以外置于应用服务器1。

此外，该应用服务器1与至少一客户端3相连，该客户端3用于提供一个互动式界面给用 户，便于用户输入下载信息至应用服务器1。