[发明专利]用于生成结构化信息的方法和装置

说明书

本申请实施例公开了用于生成结构化信息的方法和装置。方法的一具体实施方式包括：抓取预定领域的企业网站的所有页面内容；根据页面内容的特征，将页面内容分类至预先构建的企业信息的类别以及其它类别，得到分类页面；将分类页面分为内容页面和表单页面，并将内容页面和表单页面作为标签，标记分类页面；对标记后的分类页面进行以下至少一项抽取，得到抽取的信息：正文块抽取、正文内容结构化抽取、图文块抽取、列表块抽取和预定位置内容结构化；根据抽取的信息，构建结构化信息。该实施方式保证了信息来源的多样性，使得生成的结构化信息所呈现的内容特征丰富且减少了冗余信息。

技术领域

本申请涉及计算机技术领域，具体涉及计算机网络技术领域，尤其涉及用于生成结构化信息的方法和装置。

背景技术

随着互联网技术的不断发展，互联网的网页所承载的信息量日益膨胀。如何在海量的互联网网页信息中，抽取出某个行业所需要的结构化信息，是目前急需解决的一个问题。

目前的行业结构化信息，通常是根据抽取规则从行业网站的网页信息中抽取信息，但由于网页结构的复杂性及不规范性，往往需要针对特定的数据来源，编写特定的抽取规则。

然而，这种行业结构化信息的生成方法，需要设计大量的抽取规则，并且由于抽取规则的适用于性较差，生成的结构化信息所呈现的内容特征较为单薄且冗余信息较多。

发明内容

本申请的目的在于提出一种改进的用于生成结构化信息的方法和装置，来解决以上背景技术部分提到的技术问题。

第一方面，本申请实施例提供了一种用于生成结构化信息的方法，方法包括：抓取预定领域的企业网站的所有页面内容；根据页面内容的特征，将页面内容分类至预先构建的企业信息的类别以及其它类别，得到分类页面；将分类页面分为内容页面和表单页面，并将内容页面和表单页面作为标签，标记分类页面；对标记后的分类页面进行以下至少一项抽取，得到抽取的信息：正文块抽取、正文内容结构化抽取、图文块抽取、列表块抽取和预定位置内容结构化；根据抽取的信息，构建结构化信息。

在一些实施例中，页面内容的特征包括以下一项或多项：经由以下步骤获取的URL特征：对已标注的页面样本的URL进行切分，得到URL分词，统计URL分词的特性，得到URL特征；经由以下步骤获取的锚点文本特征：对页面样本的锚点文本进行切词、过滤停用词并统计词频特性，得到锚点文本特征；经由以下步骤获取的标题特征：对页面样本的标题进行切词、过滤停用词并统计词频特性，得到标题的特征。

在一些实施例中，将分类页面分为内容页面和表单页面，并将内容页面和表单页面作为标签，标记分类页面包括：响应于从分类页面中抽取到正文，对正文分块，根据分块后的正文，确定分类页面为表单页面或内容页面，并根据确定的结果标记分类页面；以及响应于未从分类页面中抽取到正文，确定页面内容为表单页面，将表单页面作为标签，标记分类页面。

在一些实施例中，对正文分块包括：根据以下一项或多项标签分类元素对正文分块：非块元素、文本元素、图片元素、格式元素、层级元素、叶子元素、标题元素和链接元素。

在一些实施例中，根据分块后的正文，确定分类页面为表单页面或内容页面包括：根据以下一项或多项对分块后的正文的判断结果，确定分类页面为表单页面或内容页面：判断分块后的正文的节点是否为空节点；判断分块后的正文的节点是否可视节点；判断分块后的正文的节点是否为叶子节点；判断分块后的正文的节点是否为文本节点；判断分块后的正文的节点是否为非块节点；判断分块后的正文的节点是否为导航栏节点；判断分块后的正文的节点是否为重复结构；判断分块后的正文的节点中字符串的长度占比是否超过阈值；以及判断分块后的正文的节点是否为结构格式标签。

在一些实施例中，图文块抽取包括：从分类页面的DOM树中抽取包含图片和文本的叶子节点，并对抽取的叶子节点进行XPath合并和过滤。