[发明专利]一种网页内容处理方法、装置及计算机可读存储介质

说明书

本发明公开了一种网页内容处理方法，包括：对网页进行解析，得到网页的树状结构；树状结构中的每个节点分别对应一个数据块；针对每个节点，确定节点在所述树状结构中对应的位置；并基于确定的位置，利用对应的分类方法，识别对应节点的主题；从识别的所有主题中，确定满足预设条件的主题；输出确定的主题对应节点的网页内容。本发明还同时公开了一种网页内容处理装置以及计算机可读存储介质。

技术领域

本发明涉及互联网技术领域，尤其涉及一种网页内容处理方法、装置及计算机可读存储介质。

背景技术

目前，随着数据量急剧增大以及数据挖掘技术的快速发展，在大数据开发中，从网页中提取特定主题的网页内容的需求越来越多，所述特定主题的网页内容为用于描述某一主题的信息数据，比如某个人物的简介信息。

目前，在提取特定主题的网页内容时，按照网页页面的编辑格式来区分不同主题的网页内容。比如，可以将编辑格式或超文本标记语言(HTML，Hyper Text MarkupLanguage)标签相同的网页内容视为同一主题的网页内容。

但是，由于相同主题的网页内容可能采用不同的HTML语言描述，这对提取特定主题的网页内容，容易造成误提取、漏提取的情况发生。

因此亟需找到一种准确提取特定主题的网页内容的技术方案。

发明内容

有鉴于此，本发明实施例期望提供一种网页内容处理方法、装置及计算机可读存储介质，能够准确提取特定主题的网页内容。

本发明实施例的技术方案是这样实现的：

本发明实施例提供一种网页内容处理方法，所述方法包括：

对网页进行解析，得到网页的树状结构；树状结构中的每个节点分别对应一个数据块；

针对每个节点，确定节点在所述树状结构中对应的位置；并基于确定的位置，利用对应的分类方法，识别对应节点的主题；

从识别的所有主题中，确定满足预设条件的主题；

输出确定的主题对应节点的网页内容。

上述方案中，所述基于确定的位置，利用对应的分类方法，识别对应数据块的网页内容的主题，包括：

针对确定的树状结构中的第一节点，对所述第一节点的文档信息进行分析，确定对应所述第一节点的主题；所述第一节点为终端节点；

针对确定的树状结构中的第二节点，将所述第二节点对应的子节点的主题进行合并，得到对应所述第二节点的主题；所述第二节点为非终端节点。

上述方案中，所述方法还包括：

针对未知主题节点，采用以下方式之一识别未知主题节点的主题：

基于预设主题模型，根据与未知主题节点相邻的节点的主题，确定相邻的节点的主题转移至预设主题的概率，利用确定的概率，识别未知主题节点的主题；

基于节点在所述树状结构中的等级关系，识别未知主题节点的主题；

其中，所述未知主题节点为第一节点中未识别出主题的节点。

上述方案中，所述基于预设主题模型，根据与未知主题节点相邻的节点的主题，确定相邻的节点的主题转移至预设主题的概率，利用确定的概率，识别未知主题节点的主题，包括：

利用所述树状结构，确定与未知主题节点相邻的至少一个节点；

利用所述未知主题节点以及相邻的至少一个节点，构建马尔科夫链；

根据所述未知主题节点在所述马尔科夫链中的位置，以及与未知主题节点相邻的节点的主题，利用预设主题模型，确定相邻的节点的主题转移至预设主题的概率；