[发明专利]对获取的网页数据进行更新的系统及方法

说明书

本发明公开了一种对获取的网页数据进行更新的系统及方法，方法包括：S₁、利用网络爬虫从网页中抓取目标数据；S₂、将目标数据打包成目标压缩文件，并对目标压缩文件添加MD5标签；S₃、判断数据库服务器中是否存储网页数据及压缩文件，若是，则执行步骤S₄，若否，则执行步骤S₇；S₄、判断网页数据的压缩文件与目标压缩文件的MD5值是否相同，若是，则执行步骤S₅，若否，则执行步骤S₆；S₅、删除目标数据及目标压缩文件；S₆、将网页数据及压缩文件分别更新为目标数据及目标压缩文件；S₇、将目标数据及目标压缩文件存储至数据库服务器中。本发明能够判断出网页数据的更新，实现了对获取到的网页数据的及时更新。

技术领域

本发明涉及一种对获取的网页数据进行更新的系统及方法，特别是涉及一种能够及时检测出获取的网页数据的更新并进行相应更新处理的系统以及一种利用所述系统实现的对获取的网页数据进行更新的方法。

背景技术

在现阶段的网络技术飞速发展的情况下，大数据时代已经来临，如何快速有效地拉取网站的数据信息成为亟待解决的问题。现在很多的网站出于信息保护的目的，在对网页数据进行更新时，一般不会在更新数据中提供时间戳这种标识时间的信息数据。因此，现有技术中在抓取到网页数据后，基本无法判断网页数据的更新时间，一旦无法判断更新时间，就无法判断抓取到的网页数据中哪些是更新过的数据，哪些是没有更新过的数据，从而导致无法第一时间获取到网页中最新更新的数据。

以在线旅游搜索平台为例，由于无法判断目标网站（例如各种酒店及订票网站）的数据更新，导致很难在第一时间获取到最新更新的机票、酒店及火车票等资源信息，而数据更新的实时性不高的话，会使得用户在进行相关信息查询时精准度变低，严重影响到用户的使用体验。

发明内容

本发明要解决的技术问题是为了克服现有技术中在线旅游搜索平台等无法及时判断网站的数据更新，导致很难在第一时间获取到最新更新的机票、酒店及火车票等资源信息，使得用户在进行相关信息查询时精准度变低，严重影响到用户的使用体验的缺陷，提供一种能够及时检测出获取的网页数据的更新并进行相应更新处理的系统以及一种利用所述系统实现的对获取的网页数据进行更新的方法。

本发明是通过下述技术方案来解决上述技术问题的：

本发明提供了一种对获取的网页数据进行更新的方法，其特点在于，所述方法包括以下步骤：

S₁、利用网络爬虫从一网页中抓取带有所述网页ID（身份识别号码）的目标数据；

S₂、将所述目标数据打包成一目标压缩文件，并对所述目标压缩文件添加MD5（消息摘要算法第五版，计算机领域使用的一种散列函数）标签；

S₃、判断一数据库服务器中是否存储带有所述网页ID的网页数据及所述网页数据的压缩文件，若是，则执行步骤S₄，若否，则执行步骤S₇；

S₄、判断所述网页数据的压缩文件的MD5值与所述目标压缩文件的MD5值是否相同，若是，则执行步骤S₅，若否，则执行步骤S₆；

S₅、删除所述目标数据及所述目标压缩文件，然后结束流程；

S₆、将所述网页数据及所述网页数据的压缩文件分别更新为所述目标数据及所述目标压缩文件，然后结束流程；

S₇、将所述目标数据及所述目标压缩文件存储至所述数据库服务器中。