[发明专利]网页内容数据获取方法及服务器

说明书

本发明专利申请是申请日为2011年6月30日、申请号为201110181418.3、名称为：“网页内容数据获取方法及服务器”的中国发明专利申请的分案申请。

技术领域

本发明涉及移动通信领域，具体地，涉及一种网页内容数据获取方法及服务器。

背景技术

目前，当用户使用浏览器访问某个网站页面时，通常是由中间件服务器先检查缓存(memcache)存储器是否已保存了该网站页面的数据，如果缓存存储器没有保存该网站页面的数据，中间件服务器再向该网站网页服务器请求获取页面数据内容。由于中间件服务器向网站的网页服务器请求获取网页内容数据内容的速度比中间件服务器从缓存存储器中获取页面数据内容的速度慢，因而这种获取所需网页内容数据的过程比较耗时。尤其是，用户在访问一些大型门户网站或者国内排名前100的网站等常用网站时，中间件服务器需要频繁地从网页服务器拉取所需的页面数据，因而大大地降低了用户浏览网页的速度，使用户的上网体验不佳。

因此，在用户浏览网页过程中，如何有效地减少中间件服务器需要频繁到网页服务器获取所需网页内容数据的客观限制，从而加快用户在浏览网页过程中获得所需页面内容的速度，是当前急需解决的问题。

发明内容

为了改善现有技术存在的上述问题，本发明提供一种网页内容数据获取方法及服务器，能够在用户浏览过程中减少服务器频繁到网页服务器获取所需网页内容数据的情况，显著提高用户浏览网页的速度，从而有效地避免了现有技术的上述缺陷。

根据本发明的一个方面，提供一种网页内容数据获取方法，所述方法由服务器执行，所述方法包括：服务器根据预存的系统配置文件所生成的预抓取策略，从网页服务器中获取网页内容数据，并缓存于缓存存储器中；其中，当接收到浏览器客户端发起的网页访问请求时，服务器将缓存存储器中预先缓存的相应网页内容数据传送到浏览器客户端。

优选地，在获取并将网页内容数据缓存在缓存存储器中之后，所述方法还包括：确定所述缓存存储器中存储的网页内容数据是否需要更新，并且在确定出需要更新时，从所述网页服务器获取所述被更新的网页内容数据；利用所获取的被更新的网页内容数据对存储在缓存存储器中的该网页内容数据进行更新。

优选地，确定所述缓存存储器中存储的网页内容数据是否需要更新包括：根据所述预抓取策略，定期检查所述网页服务器中的网页内容数据是否被更新，在检查到所述网页服务器中的网页内容数据被更新时，确定所述缓存存储器中存储的网页内容数据需要更新。

优选地，确定所述缓存存储器中存储的网页内容数据是否需要更新包括：根据所述缓存存储器中存储的网页内容数据的页面有效性，确定所述缓存存储器中存储的网页内容数据是否需要更新。

优选地，所述预抓取策略基于系统配置文件的更新来更新。

优选地，在缓存所获取的网页内容数据时，还包括：判断所获取的网页内容数据中的网页元素是否为无缓存策略元素；在所获取的网页内容数据中的网页元素是无缓存策略元素时，对所述网页元素进行预定次数的获取；如果所述预定次数获取所获取的网页元素内容相同，则将所述网页元素强制存储在所述缓存存储器中，否则，不存储所述网页元素。

优选地，当无法根据所述预抓取策略从所述网页服务器抓取要获取的网页内容数据中的网页元素时，调整所述预抓取策略；根据所述调整后的预抓取策略，对所述网页元素进行预定次数的获取；如果获取次数超出所述预定次数后仍无法获取，则利用特定标识替换该要获取的网页元素的内容并且将该特定标识作为该要获取的网页元素存储到缓存存储器中。

优选地，调整所述预抓取策略包括延长抓取等待时间。

优选地，所述缓存存储器位于所述服务器中或者位于另一服务器中。

根据本发明的另一个方面，提供一种用于网页内容数据获取的服务器，包括：预抓取策略生成模块，用于基于在所述服务器中存储的系统配置文件，生成预抓取策略；网页内容获取模块，用于根据所生成的预抓取策略，从网页服务器预先获取要抓取的网页内容数据；网页内容存储模块，用于将所获取的网页内容数据存储在缓存存储器中；以及发送模块，用于在接收到浏览器客户端发起的网页访问请求后，将缓存存储器中预先缓存的相应网页内容数据传送到浏览器客户端。