[发明专利]用于从网站中提取信息的方法和装置

权利要求书

1.一种用于从网站中提取信息的方法，包括：

从所述网站中获取位于相同深度的URL链接的集合；

分析所述集合中的链接指向的多个web页面的代码，以获取针对所述多个web页面中每一个web页面的标签树；

将针对所述集合中的链接指向的多个web页面的标签树进行重叠以构造网格树；以及

基于归类规则将所述网格树中的网格节点中的标签节点进行归类，以从所述网格树中提取数据。

2.根据权利要求1所述的方法，其中从所述网站中获取位于相同深度的URL链接的集合包括：

提取所述网站中包括的URL链接的原始集合；

基于所述原始集合中的URL链接建立URL树；以及

选取所述URL树中位于相同深度的叶节点以形成所述集合。

3.根据权利要求2所述的方法，其中基于所述原始集合中的URL链接建立URL树包括：

针对所述原始集合中的第一URL链接和第二URL链接，

分别将所述第一URL链接和所述第二URL链接以“/”进行拆分；将

拆分所得的所述第一URL链接和所述第二URL链接的每个部分作为一

节点，以分别构造第一URL子树和第二URL子树；以及

将所述第二URL子树重叠至第一URL子树以形成所述URL树。

4.根据权利要求3所述的方法，其中将所述第二URL子树重叠至第一URL子树以形成所述URL树包括：

响应于所述第二URL子树与所述第一URL子树的相对应位置的节点的定义相同，将所述第二URL子树的节点重叠至所述第一URL子树的节点，其中所述位置包括节点的深度以及所述节点在所述深度中的序号。

5.根据权利要求1-4中任一项所述的方法，其中分析所述集合中的链接指向的多个web页面的代码，以获取针对所述多个web页面中每一个web页面的标签树包括：针对所述多个web页面中的每一个，

获取所述web页面中的至少一个tag标签作为所述标签树的节点；以及

基于所述至少一个tag标签中的一个tag标签与其他tag标签的父子关系构建所述标签树。

6.根据权利要求1-4中任一项所述的方法，其中将针对所述集合中的链接指向的多个web页面的标签树进行重叠以构造网格树包括：

将针对第一web页面的第一标签树作为基础网格树；以及

将针对第二web页面的第二标签树重叠至所述基础网格树。

7.根据权利要求6所述的方法，其中将针对第二web页面的第二标签树重叠至所述基础网格树包括：

从所述第二标签树的根节点遍历所述第二标签树；

在遍历期间针对所述第二标签树的每个节点，将所述节点重叠至所述基础网格树中与所述节点的位置相对应的网格节点。

8.根据权利要求1-4中任一项所述的方法，其中基于归类规则将所述网格树中的网格节点中的标签节点进行归类，以从所述网格树中提取数据包括：

按照自顶向下自左向右的顺序，按照所述归类规则将所述网格树中的一网格节点中的多个标签节点归类为至少一个组合；

将所述至少一个组合中的标签节点个数分布满足预定阈值的网格节点作为核心节点；以及

从所述核心节点的父节点中提取数据。

9.根据权利要求8所述的方法，其中按照所述归类规则将所述网格树中的一网格节点中的多个标签节点归类为至少一个组合包括：

剔除所述至少一个组合中的其中包含的标签节点个数小于第二阈值的组合。

10.根据权利要求8所述的方法，其中所述归类规则包括将以下至少任一内容相同的两个标签节点归类为相同组合：标签名称、属性、父节点标签名称、父节点属性。

11.一种用于从网站中提取信息的装置，包括：

获取模块，配置用于从所述网站中获取位于相同深度的URL链接的集合；

分析模块，配置用于分析所述集合中的链接指向的多个web页面的代码，以获取针对所述多个web页面中每一个web页面的标签树；

构造模块，配置用于将针对所述集合中的链接指向的多个web页面的标签树进行重叠以构造网格树；以及

提取模块，配置用于基于归类规则将所述网格树中的网格节点中的标签节点进行归类，以从所述网格树中提取数据。