[发明专利]网页信息获得方法及系统

说明书

本发明实施例提供了一种网页信息获得方法及装置，可以获得用户输入的网页关键词，通过搜索引擎对所述网页关键词进行检索，获得与该网页关键词对应的多个网页的网络链接，通过所述网络链接获得所述多个网页的网页源代码，对所述网页源代码进行分析处理，从所述网页源代码中获得正文网页列表页的网络链接。可见，本发明实现了正文网页列表页的自动获取，可以快速、准确的获得大量网站的正文网页列表页。

技术领域

本发明涉及信息处理技术领域，特别是涉及网页信息获得方法及系统。

背景技术

新闻是互联网信息的主要承载体，从各大门户、媒体等新闻生产者处获取新闻后，可以对其进行研究，从而得出互联网信息的某些特征及趋势。

为了获取大量的新闻，需要对新闻列表页进行监控。现有技术下需要通过人工寻找各大门户、媒体的新闻列表页，无法快速、准确的获得大量网站的新闻列表页。

发明内容

本发明实施例的目的在于提供一种网页信息获得方法及系统，以实快速、准确的获得大量网站的新闻列表页。具体技术方案如下：

一种网页信息获得方法，包括：

获得用户输入的网页关键词；

通过搜索引擎对所述网页关键词进行检索，获得与该网页关键词对应的多个网页的网络链接；

通过所述网络链接获得所述多个网页的网页源代码；

对所述网页源代码进行分析处理，从所述网页源代码中获得正文网页列表页的网络链接。

可选的，在所述通过所述网络链接获得所述多个网页的网页源代码之前，所述方法还包括：

从所述网络链接中选出正文网页的网络链接；

所述通过所述网络链接获得所述多个网页的网页源代码，包括：通过所述正文网页的网络链接获得所述正文网页的网页源代码。

可选的，所述对所述网页源代码进行分析处理，从所述网页源代码中获得正文网页列表页的网络链接，包括：

对所述网页源代码进行分析处理，获得网页的文档对象模型HTML DOM；

对所述HTML DOM中的所有节点进行遍历，获得网页的导航栏标签列表，其中，所述导航栏标签列表中各导航栏标签依次排列；

将所述导航栏标签列表中的倒数第二个导航栏标签对应的网络链接确定为该网页对应的正文网页列表页的网络链接。

可选的，所述对所述HTML DOM中的所有节点进行遍历，获得网页的导航栏标签列表，包括：

判断所述HTML DOM中的body节点是否存在子节点，如果存在，则将所述body节点的一个子节点确定为当前节点；

判断当前节点的文本text中是否包含有导航栏的间隔符，如果包含有导航栏的间隔符，则判断当前节点是否存在未遍历的兄弟节点；如果不包含有导航栏的间隔符，则将所述body节点的另一子节点确定为当前节点并返回执行所述判断当前节点的text中是否包含有导航栏的间隔符的步骤；

如果存在未遍历的兄弟节点，则将当前节点的未遍历的兄弟节点确定为当前节点并判断当前节点是否具有预设的标签特征，如果具有预设的标签特征，则将当前节点放入网页的导航栏标签列表中并返回执行所述判断当前节点是否存在未遍历的兄弟节点的步骤；如果不具有预设的标签特征，则返回执行所述判断当前节点是否存在未遍历的兄弟节点的步骤；