[发明专利]网页内容数据获取方法及服务器

权利要求书

1.一种网页内容数据获取方法，包括：

在中间服务器里设置和保存预抓取策略和缓存策略，所述预抓取策略包括：要获取的网页内容的地址、需要从网页中提取的内容数据的信息，以及进行预抓取的时间间隔、预抓取的持续时间，所述缓存策略规定了需要缓存和禁止缓存的数据属性；

中间服务器根据所述预抓取策略主动从网页服务器中预先抓取相应的网页内容数据，并且根据所述缓存策略将相应的网页内容数据存储在缓存存储器中；

当中间服务器接收到浏览器客户端发起的网页访问请求时，中间服务器将缓存存储器中预先存储的相应网页内容数据传送到浏览器客户端。

2.根据权利要求1所述的方法，其特征在于还包括：所述中间服务器定期检查所述网页服务器中的网页内容数据是否被更新，在检查到所述网页服务器中的网页内容数据被更新时，抓取更新的网页内容数据以对存储在缓存存储器中的该网页内容数据进行更新。

3.根据权利要求1所述的方法，其特征在于还包括：在保存的预抓取策略发生更新时，根据更新内容从网页服务器中预先抓取相应的网页内容数据，并且根据所述缓存策略将相应的网页内容数据存储在缓存存储器中。

4.根据权利要求1所述的方法，其特征在于在根据所述缓存策略将相应的网页内容数据存储在缓存存储器中的步骤中，当根据所述缓存策略得出所抓取的网页内容数据中的网页元素是禁止缓存时，在经过一个或多个预抓取的时间间隔后抓取一次或多次该网页内容数据，比较至少2次抓取的禁止缓存的网页元素的内容是否相同；如果比较结果为禁止缓存的网页元素内容相同，则将所述网页元素强制存储在所述缓存存储器中，否则，不存储所述网页元素。

5.根据权利要求2所述的方法，其特征在于在所述中间服务器定期检查所述网页服务器中的网页内容数据是否被更新的步骤中，所述中间服务器定期地读取网页服务器中网页内容数据的索引列表，将该索引列表与其预先保存的网页内容数据的索引列表进行比较，判断二者是否匹配，如果不匹配，则判断出网页服务器中的网页内容数据被更新，如果匹配，则所述网页内容数据没有更新。

6.一种用于网页内容数据获取的服务器，包括：

预抓取策略生成模块，用于设置和保存预抓取策略，所述预抓取策略包括：要获取的网页内容的地址、需要从网页中提取的内容数据的信息，以及进行预抓取的时间间隔、预抓取的持续时间，

缓存策略模块，用于设置和保存缓存策略，所述缓存策略规定了需要缓存和禁止缓存的数据属性；

网页内容获取模块，用于根据所述预抓取策略主动从网页服务器中预先抓取相应的网页内容数据；

网页内容存储模块，用于根据所述缓存策略将相应的网页内容数据存储在缓存存储器中；

发送模块，用于接收到浏览器客户端发起的网页访问请求时，将缓存存储器中预先存储的相应网页内容数据传送到浏览器客户端。

7.根据权利要求6所述的服务器，其特征在于还包括：

检查模块，用于定期检查所述网页服务器中的网页内容数据是否被更新；

网页内容更新模块，用于在检查到所述网页服务器中的网页内容数据被更新时，利用所述网页内容获取模块抓取的更新的网页内容数据对存储在缓存存储器中的该网页内容数据进行更新。

8.根据权利要求6所述的服务器，其特征在于还包括：预抓取策略更新模块，用于更新所述预抓取策略；和

所述网页内容获取模块还用于根据更新内容从网页服务器中预先抓取相应的网页内容数据。

9.根据权利要求6所述的服务器，其特征在于还包括：

无缓存策略网页元素判断模块，用于根据所述缓存策略判断所抓取的网页内容数据中的网页元素是否为禁止缓存，

强制存储模块，用于比较经过预抓取的时间间隔的至少2次抓取的禁止缓存的网页元素的内容是否相同；如果比较结果为禁止缓存的网页元素内容相同，则将所述网页元素强制存储在所述缓存存储器中，否则，不存储所述网页元素。

10.根据权利要求7所述的服务器，其特征在于所述检查模块还用于定期地读取网页服务器中网页内容数据的索引列表，将该索引列表与其预先保存的网页内容数据的索引列表进行比较，判断二者是否匹配，如果不匹配，则判断出网页服务器中的网页内容数据被更新，如果匹配，则所述网页内容数据没有更新。