[发明专利]一种站点资源管理方法及装置

权利要求书

1.一种站点资源管理方法，其特征在于，包括以下步骤：

对web站点进行数据挖掘以获取所述web站点的各个页面；

获取所述各个页面的分块特征；

将具有强分块特征的页面分为不同类型的页面；

获取所述各个页面的分簇特征并根据所述分簇特征将所述各个页面分组；以及

根据各个分组中具有强分块特征的页面的类型确定所述分组中的页面的类型。

2.根据权利要求1所述的方法，其特征在于，所述强分块特征包括：导航块、索引块、图片块、文本块。

3.根据权利要求1或2所述的方法，其特征在于，所述不同类型的页面包括首页页面、索引页页面、列表页页面、正文页页面、封面页页面。

4.根据权利要求1或2所述的方法，其特征在于，获取所述各个页面的分簇特征包括通过通配所述各个页面的URL pattern获取所述各个页面的分簇特征。

5.根据权利要求4所述的方法，其特征在于，所述通配包括对所述各个页面的URL pattern在不同粒度上的通配。

6.根据权利要求4所述的方法，其特征在于，获取所述各个页面的分簇特征包括通过对所述各个页面进行Xpath分簇而获取所述各个页面的分簇特征。

7.根据权利要求6所述的方法，其特征在于，在对所述各个页面进行Xpath分簇时，对所述各个页面的目标节点的Xpath进行签名。

8.根据权利要求7所述的方法，其特征在于，所述目标节点包括div节点，ul节点、a节点，视频节点和图片节点。

9.一种站点资源管理装置，其特征在于，包括：

挖掘模块，用于对web站点进行数据挖掘以获取所述web站点中各个页面的URL数据；

分块特征获取模块，用于获取所述各个页面的分块特征；

分簇特征获取模块，用于获取所述各个页面的分簇特征并根据所述分簇特征将所述各个页面分组；

页面分类模块，用于将具有强分块特征的页面分为不同类型的页面，以及根据各个分组中具有强分块特征的页面的类型确定所述分组中的页面的类型。

10.根据权利要求9所述的装置，其特征在于，所述强分块特征包括：导航块、索引块、图片块、文本块。

11.根据权利要求9或10所述的装置，其特征在于，所述不同类型的页面包括首页页面、索引页页面、列表页页面、正文页页面、封面页页面。

12.根据权利要求9或10所述的装置，其特征在于，所述分簇特征获取模块通过URL-pattern通配所述各个页面的获取所述各个页面的分簇特征。

13.根据权利要求12所述的装置，其特征在于，所述通配包括对所述各个页面的在不同粒度上的URL-pattern通配。

14.根据权利要求12所述的装置，其特征在于，获取所述各个页面的分簇特征包括通过对所述各个页面进行Xpath分簇而获取所述各个页面的分簇特征。

15.根据权利要求14所述的装置，其特征在于，在对所述各个页面进行Xpath分簇时，对所述各个页面的目标节点的Xpath进行签名。

16.根据权利要求15所述的装置，其特征在于，所述目标节点包括div节点，ul节点、a节点，视频节点和图片节点。