[发明专利]网页信息获得方法及系统有效
申请号: | 201710157301.9 | 申请日: | 2017-03-16 |
公开(公告)号: | CN106951505B | 公开(公告)日: | 2021-02-02 |
发明(设计)人: | 李天与;刘海龙;郗家贞 | 申请(专利权)人: | 北京搜狐新媒体信息技术有限公司 |
主分类号: | G06F16/954 | 分类号: | G06F16/954;G06F16/953;G06F16/955 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 王宝筠 |
地址: | 100084 北京市海淀区中*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 网页 信息 获得 方法 系统 | ||
1.一种网页信息获得方法,其特征在于,所述方法包括:
获得用户输入的网页关键词;
通过搜索引擎对所述网页关键词进行检索,获得与该网页关键词对应的多个网页的网络链接;
通过所述网络链接获得所述多个网页的网页源代码;
对所述网页源代码进行分析处理,从所述网页源代码中获得正文网页列表页的网络链接,包括:
对所述网页源代码进行分析处理,获得网页的文档对象模型HTML DOM;
对所述HTML DOM中的所有节点进行遍历,获得网页的导航栏标签列表,其中,所述导航栏标签列表中各导航栏标签依次排列;
将所述导航栏标签列表中的倒数第二个导航栏标签对应的网络链接确定为该网页对应的正文网页列表页的网络链接;
所述对所述HTML DOM中的所有节点进行遍历,获得网页的导航栏标签列表,包括:
对网页的文档对象模型HTML DOM中的所有节点进行遍历,获得网页的导航栏标签列表,包括:判断所述HTML DOM中的body节点是否存在子节点,如果存在,则将所述body节点的一个子节点确定为当前节点;
判断当前节点的文本text中是否包含有导航栏的间隔符,如果包含有导航栏的间隔符,则判断当前节点是否存在未遍历的兄弟节点;如果不包含有导航栏的间隔符,则将所述body节点的另一子节点确定为当前节点并返回执行所述判断当前节点的text中是否包含有导航栏的间隔符的步骤;
如果存在未遍历的兄弟节点,则将当前节点的未遍历的兄弟节点确定为当前节点并判断当前节点是否具有预设的标签特征,如果具有预设的标签特征,则将当前节点放入网页的导航栏标签列表中并返回执行所述判断当前节点是否存在未遍历的兄弟节点的步骤;如果不具有预设的标签特征,则返回执行所述判断当前节点是否存在未遍历的兄弟节点的步骤;
如果不存在未遍历的兄弟节点,则判断是否已对所述body节点的所有子节点进行遍历,如果已对所述body节点的所有子节点进行遍历,则确定放入网页的导航栏标签列表中的节点即为网页的导航栏标签列表中的全部节点;如果未对所述body节点的所有子节点进行遍历,则将所述body节点的另一子节点确定为当前节点并返回执行所述判断当前节点的text中是否包含有导航栏的间隔符的步骤。
2.根据权利要求1所述的方法,其特征在于,在所述通过所述网络链接获得所述多个网页的网页源代码之前,所述方法还包括:
从所述网络链接中选出正文网页的网络链接;
所述通过所述网络链接获得所述多个网页的网页源代码,包括:通过所述正文网页的网络链接获得所述正文网页的网页源代码。
3.根据权利要求1所述的方法,其特征在于,所述预设的标签特征,包括如下特征中的任意个:
位于标题上方;
与导航链接之间设置有标识符;
具有标签形式。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京搜狐新媒体信息技术有限公司,未经北京搜狐新媒体信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710157301.9/1.html,转载请声明来源钻瓜专利网。
- 上一篇:用于辊压机轴承座的防磨损装置
- 下一篇:一种挤压式对虾肉粉碎装置
- 信息记录介质、信息记录方法、信息记录设备、信息再现方法和信息再现设备
- 信息记录装置、信息记录方法、信息记录介质、信息复制装置和信息复制方法
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录设备、信息重放设备、信息记录方法、信息重放方法、以及信息记录介质
- 信息存储介质、信息记录方法、信息重放方法、信息记录设备、以及信息重放设备
- 信息存储介质、信息记录方法、信息回放方法、信息记录设备和信息回放设备
- 信息记录介质、信息记录方法、信息记录装置、信息再现方法和信息再现装置
- 信息终端,信息终端的信息呈现方法和信息呈现程序
- 信息创建、信息发送方法及信息创建、信息发送装置