[发明专利]用于生成结构化信息的方法和装置

权利要求书

1.一种用于生成结构化信息的方法，其特征在于，所述方法包括：

抓取预定领域的企业网站的所有页面内容；

根据所述页面内容的特征，将所述页面内容分类至预先构建的企业信息的类别以及其它类别，得到分类页面；

将所述分类页面分为内容页面和表单页面，并将内容页面和表单页面作为标签，标记所述分类页面；其中，所述内容页面为详情页对应的页面，所述表单页面为所述分类页面中除所述详情页之外的页面；

所述将所述分类页面分为内容页面和表单页面，并将内容页面和表单页面作为标签，标记所述分类页面包括：

响应于从所述分类页面中抽取到正文，对所述正文分块，根据分块后的正文，确定所述分类页面为表单页面或内容页面，并根据确定的结果标记所述分类页面；以及

响应于未从所述分类页面中抽取到正文，确定所述页面内容为表单页面，将所述表单页面作为标签，标记所述分类页面；

对标记后的分类页面进行以下至少一项抽取，得到抽取的信息：正文块抽取、正文内容结构化抽取、图文块抽取、列表块抽取和预定位置内容结构化；

根据抽取的信息，构建结构化信息。

2.根据权利要求1所述的方法，其特征在于，所述页面内容的特征包括以下一项或多项：

经由以下步骤获取的URL特征：对已标注的页面样本的URL进行切分，得到URL分词，统计所述URL分词的特性，得到URL特征；

经由以下步骤获取的锚点文本特征：对所述页面样本的锚点文本进行切词、过滤停用词并统计词频特性，得到锚点文本特征；

经由以下步骤获取的标题特征：对所述页面样本的标题进行切词、过滤停用词并统计词频特性，得到标题的特征。

3.根据权利要求1所述的方法，其特征在于，所述对所述正文分块包括：

根据以下一项或多项标签分类元素对所述正文分块：非块元素、文本元素、图片元素、格式元素、层级元素、叶子元素、标题元素和链接元素。

4.根据权利要求1所述的方法，其特征在于，所述根据分块后的正文，确定所述分类页面为表单页面或内容页面包括：

根据以下一项或多项对分块后的正文的判断结果，确定所述分类页面为表单页面或内容页面：

判断分块后的正文的节点是否为空节点；

判断分块后的正文的节点是否可视节点；

判断分块后的正文的节点是否为叶子节点；

判断分块后的正文的节点是否为文本节点；

判断分块后的正文的节点是否为非块节点；

判断分块后的正文的节点是否为导航栏节点；

判断分块后的正文的节点是否为重复结构；

判断分块后的正文的节点中字符串的长度占比是否超过阈值；以及

判断分块后的正文的节点是否为结构格式标签。

5.根据权利要求1所述的方法，其特征在于，所述图文块抽取包括：

从所述分类页面的DOM树中抽取包含图片和文本的叶子节点，并对抽取的叶子节点进行XPath合并和过滤。

6.根据权利要求1所述的方法，其特征在于，所述列表块抽取包括：

从所述分类页面的DOM树中抽取包含超链接且是列表形式的结构或包含短文本且是列表形式的结构的叶子节点，并对抽取的叶子节点进行XPath合并和过滤。

7.根据权利要求1所述的方法，其特征在于，所述根据抽取的信息，构建结构化信息包括：

根据过滤规则过滤抽取的信息，得到所述分类页面的专项信息；

对所述分类页面的专项信息进行文本处理，得到结构化信息。

8.根据权利要求7所述的方法，其特征在于，预先构建的企业信息的类别包括以下一项或多项：企业介绍类别、企业荣誉资质类别、企业专业人员类别、企业优势设备类别、企业优势业务类别、企业案例新闻类别、企业联系方式类别和企业优势类别。