[发明专利]一种网页内容抽取的方法

说明书

本发明公开一种网页内容抽取的方法，涉及信息技术领域，可以在进行网页内容抽取时，准确抽取网页标题以及网页中各个元素。本发明通过将HTML源码转换为对应的文档树结构，并根据文档树结构的TITLE标签，确定网页标题；根据网页标题，确定网页中的网页元素，网页元素至少包括网站LOGO、页面导航、新闻发布时间、新闻来源；根据网页标题，以及文档树结构的文本块的密度和文字数，确定各个文本块的属性；抽取所述网页标题、所述网页元素以及所述网页内容为正文的正文文本块，获取网页全文。本发明提供的方案适于进行网页内容抽取时采用。

技术领域

本发明涉及信息技术领域，尤其涉及一种网页内容抽取的方法。

背景技术

通过SAX解析器将网页源码中表示文本区域的<P>标签、<Hn>标签、<a>标签、<DIV>标签等标签中的内容解析为多个文本块，并计算各个文本块中的预设指标，判断此文本块的内容是否可以作为正文，其中，预设指标可以包括单词数、超链接密度等指标。例如，当前文本块的链接密度小于等于0.333333，并且前一文本块的链接密度小于等于0.555556，并且当前文本块的单词数小于等于16，并且下一文本块的单词数小于等于14，并且前一文本块的单词数大于4时，当前文本块能作为正文；前面条件不变，最后一个条件为：前一文本块的单词数小于等于4时，当前文本块不能作为正文。

然而，当采用现有技术进行网页内容抽取时，网页标题抽取不准确，网页各个元素抽取不全面等问题，导致网页正文抽取不准确。

发明内容

本发明的实施例提供一种网页内容抽取的方法，可以在进行网页内容抽取时，准确抽取网页标题以及网页中各个元素。

本发明提供一种网页内容抽取的方法，包括：将HTML源码转换为对应的文档树结构，并根据所述文档树结构的TITLE标签，确定网页标题；根据所述网页标题，确定网页中的网页元素，所述网页元素至少包括网站LOGO、页面导航、新闻发布时间、新闻来源；根据所述网页标题，以及所述文档树结构的文本块的密度和文字数，确定各个文本块的属性，所述文本块的属性包括所述文本块的网页内容为正文，或者所述文本块的网页内容非正文；抽取所述网页标题、所述网页元素以及所述网页内容为正文的正文文本块，获取网页全文。

本发明实施例提供一种网页内容抽取的方法，通过将HTML源码转换为对应的文档树结构，并根据所述文档树结构的TITLE标签，确定网页标题；根据所述网页标题，确定网页中的网页元素，所述网页元素至少包括网站LOGO、页面导航、新闻发布时间、新闻来源；根据所述网页标题，以及所述文档树结构的文本块的密度和文字数，确定各个文本块的属性，所述文本块的属性包括所述文本块的网页内容为正文，或者所述文本块的网页内容非正文；抽取所述网页标题、所述网页元素以及所述网页内容为正文的正文文本块，获取网页全文。

与现有技术中进行网页内容抽取时，网页标题抽取不准确，网页各个元素抽取不全面等问题，导致网页正文抽取不准确相比，本发明实施例通过TITLE标签，确定网页标题，再根据网页标题确定网页其他元素，例如网站LOGO、页面导航、新闻发布时间、新闻来源等，使得在进行网页内容抽取时，准确抽取网页标题以及网页中各个元素。

附图说明

图1为本发明实施例提供的一种网页内容抽取的方法的流程图；

图2为本发明实施例提供的另一种网页内容抽取的方法的流程图；

图3为本发明实施例提供的一种确定当前文本块的网页内容为正文或者非正文的方法的流程图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述。

本发明实施例提供一种网页内容抽取的方法，如图1所示，该方法包括：