[发明专利]网页信息提取方法、装置、系统及电子设备

权利要求书

1.一种网页信息提取方法，其特征在于，包括：

对待处理网页中各区块的文本信息采用预先训练得到的与待处理网页所属领域相同的领域分类模型进行计算分类，以得到各所述区块在该领域中所属的类别；

对各所述区块内文本信息经与其所在区块所属类别相适用的信息提取规则进行信息提取，并形成结构化数据。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述待处理网页进行页面渲染，以得到所述待处理网页包含的元素文本；

基于所述元素文本所体现的视觉特征，对所述待处理网页进行页面分割，以形成多个所述区块。

3.根据权利要求2所述的方法，其特征在于，所述基于所述元素文本所体现的视觉特征，对所述待处理网页进行页面分割，形成多个所述区块包括：

对所述元素文本进行解析和转换，以得到所述待处理网页对应的元素树；

对所述元素树中的各次底层节点，遍历与其连接的各底层节点，如果存在至少两个底层节点对应的元素的相似度大于预设阈值，则将该至少两个底层节点合并，并将合并后的节点和未合并的各底层节点分别记为第一节点；

针对各所述第一节点，如果所述第一节点对应的所述元素的文本信息中包含干扰信息或无用信息，则剔除该第一节点，并将剩余的各所述第一节点所对应的元素分别记为一个区块，且元素内包含的文本信息记为所述区块的文本信息。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

针对各所述第一节点：

如果所述第一节点包含的原始节点中，存在至少一个所述原始节点对应的元素的文本信息中包含商品链接和推荐关键词，则确定该第一节点包含所述干扰信息；

或者，如果所述第一节点中一个原始节点对应的元素的文本信息中包含商品链接，该原始节点的叔节点对应的元素的文本信息中包含推荐关键词，则确定该第一节点包含所述干扰信息。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

针对各所述第一节点中包含的原始节点，如果一个原始节点对应的元素的文本信息中包含无用字典中的关键词，则确定该原始节点所在的所述第一节点包含所述无用信息。

6.根据权利要求1所述的方法，其特征在于，所述领域分类模型为采用随机森林算法对目标领域内已标注类别的特征数据进行学习所生成，

所述对待处理网页中各区块的文本信息采用预先训练得到的与待处理网页所属领域相同的领域分类模型进行计算分类，以得到各所述区块在该领域中所属的类别包括：

从各所述区块的文本信息中提取特征数据的特征值，并形成特征向量；

将所述特征向量作为输入数据输入到所述领域分类模型中进行领域分类计算，以得到各所述区块在其所属的领域中的类别。

7.根据权利要求1所述的方法，其特征在于，所述对各所述区块内文本信息经与其所在区块所属类别相适用的信息提取规则进行信息提取所采用的工具包括：

开源语法分析器antlr，正则表达式、领域专用语言DSL中的一种或多种。

8.一种网页信息提取方法，其特征在于，包括：

对待处理网页进行页面分割，以形成多个区块；

对至少一个所述区块的文本信息采用与待处理网页所属领域相同的领域分类模型进行计算分类，以得到各所述区块在该领域中所属的类别；

确定各所述区块所属类别相适用的信息提取规则，并对各所述区块内文本信息进行信息提取。

9.根据权利要求8所述的方法，其特征在于，所述对待处理网页进行页面分割，以形成多个区块之前还包括：

对所述待处理网页进行页面渲染，以得到所述待处理网页包含的元素文本；

所述对待处理网页进行页面分割，以形成多个区块包括：

基于所述元素文本所体现的视觉特征，对所述待处理网页进行页面分割，以形成多个所述区块。