[发明专利]对获取的网页数据进行更新的系统及方法

权利要求书

1.一种对获取的网页数据进行更新的方法，其特征在于，所述方法包括以下步骤：

S₁、利用网络爬虫从一网页中抓取带有所述网页ID的目标数据；

S₂、将所述目标数据打包成一目标压缩文件，并对所述目标压缩文件添加MD5标签；

S₃、判断一数据库服务器中是否存储带有所述网页ID的网页数据及所述网页数据的压缩文件，若是，则执行步骤S₄，若否，则执行步骤S₇；

S₄、判断所述网页数据的压缩文件的MD5值与所述目标压缩文件的MD5值是否相同，若是，则执行步骤S₅，若否，则执行步骤S₆；

S₅、删除所述目标数据及所述目标压缩文件，然后结束流程；

S₆、将所述网页数据及所述网页数据的压缩文件分别更新为所述目标数据及所述目标压缩文件，然后结束流程；

S₇、将所述目标数据及所述目标压缩文件存储至所述数据库服务器中；

步骤S₁中还将所述目标数据按照数据类型划分为多个字段，并将所述多个字段分类为静态信息数据和动态信息数据；

步骤S₂中的所述目标压缩文件包括分别带有MD5标签的所述静态信息数据的压缩文件及所述动态信息数据的压缩文件。

2.如权利要求1所述的方法，其特征在于，步骤S₁中的所述网络爬虫为聚焦爬虫，所述聚焦爬虫在抓取时通过设置过滤算法过滤所述网页中与所述目标数据无关的链接。

3.如权利要求1或2所述的方法，其特征在于，每隔一时间段执行一次所述方法的流程。

4.一种对获取的网页数据进行更新的系统，其特征在于，所述系统包括一数据抓取模块、一文件压缩模块、一第一判断模块、一第二判断模块以及一数据更新模块；

所述数据抓取模块用于利用网络爬虫从一网页中抓取带有所述网页ID的目标数据；

所述文件压缩模块用于将所述目标数据打包成一目标压缩文件，并对所述目标压缩文件添加MD5标签；

所述第一判断模块用于判断一数据库服务器中是否存储带有所述网页ID的网页数据及所述网页数据的压缩文件，若是，则启用所述第二判断模块，若否，则调用所述数据更新模块将所述目标数据及所述目标压缩文件存储至所述数据库服务器中；

所述第二判断模块用于判断所述网页数据的压缩文件的MD5值与所述目标压缩文件的MD5值是否相同；

若是，则调用所述数据更新模块删除所述目标数据及所述目标压缩文件；

若否，则调用所述数据更新模块分别将所述网页数据及所述网页数据的压缩文件更新为所述目标数据及所述目标压缩文件；

所述数据抓取模块还用于将所述目标数据按照数据类型划分为多个字段，并将所述多个字段分类为静态信息数据和动态信息数据；

所述目标压缩文件包括分别带有MD5标签的所述静态信息数据的压缩文件及所述动态信息数据的压缩文件。

5.如权利要求4所述的系统，其特征在于，所述网络爬虫为聚焦爬虫，所述聚焦爬虫还用于在抓取时通过设置过滤算法过滤所述网页中与所述目标数据无关的链接。