[发明专利]网页分类存储系统及方法

权利要求书

1.一种网页分类存储系统，包括：

页面框架ID计算模块，适于抽取预先获取的网页的页面框架，计算页面框架ID；

页面框架存储模块，适于将相同页面框架ID的页面框架存储在以所述页面框架ID为名称的目录下;

其中，所述页面框架存储模块具体适于在当前子目录下查找以所述页面框架ID为名称的目录是否存在，若存在，则将页面框架存储在相应ID的目录下，若不存在，则创建以所述页面框架ID为名称的目录，再将页面框架存储在相应ID的目录下。

2.如权利要求1所述的网页分类存储系统，其特征在于，所述系统还包括：

框架数量统计模块，适于统计所述页面框架ID为名称的目录下页面框架数量；

网页内容存储模块，适于若达到阈值则计算页面框架模式，并按计算出的页面框架模式对该目录下的页面框架对应的网页进行数据内容下载，并将下载的数据内容存储在指定的目录下。

3.如权利要求1~2中任一项所述的网页分类存储系统，其特征在于，所述网页内容存储模块进一步包括：快速页面存储模块，适于将需要快速处理的下载页面存储在指定的快速处理目录下,所述需要快速处理的下载页面为网站首页及其直接下层页面中出现的新页面。

4.如权利要求1~3中任一项所述的网页分类存储系统，其特征在于，网页内容存储模块进一步包括：阈值调节模块，适于判断在预定时间内对应一ID的页面框架数量是否累计达到所述阈值，若没有，则将该ID对应的阈值以一定的步长递减。

5.如权利要求1~4中任一项所述的网页分类存储系统，其特征在于，所述页面框架ID计算模块进一步包括：哈希计算模块，适于采用哈希函数计算所述页面框架，并以哈希值的后n bit作为页面框架ID。

6.如权利要求1~5中任一项所述的网页分类存储系统，其特征在于，所述系统还包括：域名目录创建模块，适于对于同一站点的不同域名按不同优先级建立优先级目录，以所述页面框架ID为名称的目录位于每个域名下对应优先级目录下。

7.如权利要求1~6中任一项所述的网页分类存储系统，其特征在于，所述系统还包括：网页获取模块，适于通过全网搜索获取网页，并以站点为单位获取网页，同一站点下不同域名的对应的网页存储在相同的根目录下。

8.一种网页分类存储方法，包括以下步骤：

抽取预先获取的网页的页面框架，计算页面框架ID；

将相同页面框架ID的页面框架存储在以所述页面框架ID为名称的目录下；

其中，所述将相同页面框架ID的页面框架存储在以所述页面框架ID为名称的目录下具体包括：

在当前子目录下查找以所述页面框架ID为名称的目录是否存在，若存在，则将页面框架存储在相应ID的目录下，若不存在，则创建以所述页面框架ID为名称的目录，再将页面框架存储在相应ID的目录下。

9.如权利要求8所述的网页分类存储方法，其特征在于，页面框架存储在所述页面框架ID为名称的目录下之后还包括步骤：

统计所述页面框架ID为名称的目录下页面框架数量，若达到阈值则计算页面框架模式，并按计算出的页面框架模式对该目录下的页面框架对应的网页进行数据内容下载，并将下载的数据内容存储在指定的目录下；若未达到所述阈值，则继续统计该目录下页面框架数量。

10.如权利要求8~9中任一项所述的网页分类存储方法，其特征在于，将所述需要快速处理的下载页面存储在指定的快速处理目录下,所述需要快速处理的下载页面为网站首页及其直接下层页面中出现的新页面。

11.如权利要求8~10中任一项所述的网页分类存储方法，其特征在于，判断在预定时间内对应一ID的页面框架数量是否累计达到所述阈值，若没有，则将该ID对应的阈值以一定的步长递减。

12.如权利要求8~11中任一项所述的网页分类存储方法，其特征在于，采用哈希函数计算所述页面框架，并以哈希值的后n bit作为页面框架ID。

13.如权利要求8~12中任一项所述的网页分类存储方法，其特征在于，在将相同页面框架ID的页面框架存储在以所述页面框架ID为名称的目录下之前还包括：对于同一站点的不同域名按不同优先级建立优先级目录，以所述页面框架ID为名称的目录位于每个域名下对应优先级目录下。

14.如权利要求8~13中任一项所述的网页分类存储方法，其特征在于，通过全网搜索抓取网页，并以站点为单位抓取网页，同一站点下不同域名的对应的网页存储在相同的根目录下。