[发明专利]对获取的网页数据进行更新的系统及方法

摘要

本发明公开了一种对获取的网页数据进行更新的系统及方法，方法包括：S1、利用网络爬虫从网页中抓取目标数据；S2、将目标数据打包成目标压缩文件，并对目标压缩文件添加MD5标签；S3、判断数据库服务器中是否存储网页数据及压缩文件，若是，则执行步骤S4，若否，则执行步骤S7；S4、判断网页数据的压缩文件与目标压缩文件的MD5值是否相同，若是，则执行步骤S5，若否，则执行步骤S6；S5、删除目标数据及目标压缩文件；S6、将网页数据及压缩文件分别更新为目标数据及目标压缩文件；S7、将目标数据及目标压缩文件存储至数据库服务器中。本发明能够判断出网页数据的更新，实现了对获取到的网页数据的及时更新。

主权项

1.一种对获取的网页数据进行更新的方法，其特征在于，所述方法包括以下步骤：S1、利用网络爬虫从一网页中抓取带有所述网页ID的目标数据；S2、将所述目标数据打包成一目标压缩文件，并对所述目标压缩文件添加MD5标签；S3、判断一数据库服务器中是否存储带有所述网页ID的网页数据及所述网页数据的压缩文件，若是，则执行步骤S4，若否，则执行步骤S7；S4、判断所述网页数据的压缩文件的MD5值与所述目标压缩文件的MD5值是否相同，若是，则执行步骤S5，若否，则执行步骤S6；S5、删除所述目标数据及所述目标压缩文件，然后结束流程；S6、将所述网页数据及所述网页数据的压缩文件分别更新为所述目标数据及所述目标压缩文件，然后结束流程；S7、将所述目标数据及所述目标压缩文件存储至所述数据库服务器中；步骤S1中还将所述目标数据按照数据类型划分为多个字段，并将所述多个字段分类为静态信息数据和动态信息数据；步骤S2中的所述目标压缩文件包括分别带有MD5标签的所述静态信息数据的压缩文件及所述动态信息数据的压缩文件。