[发明专利]一种网页爬取方法及系统有效
| 申请号： | 201310198598.5 | 申请日： | 2013-05-24 |
| 公开（公告）号： | CN104182412B | 公开（公告）日： | 2017-08-04 |
| 发明（设计）人： | 赵黎;万鹏;周崎;王韬;何晓军;于光杰 | 申请（专利权）人： | 中国移动通信集团安徽有限公司;南京中兴软创科技股份有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京中誉威圣知识产权代理有限公司11279 | 代理人： | 郭振兴,丛芳 |
| 地址： | 230061 *** | 国省代码： | 安徽;34 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种网页爬取方法及系统。其中方法包括对样本网页进行训练得到数据提取条件；爬取web网页；将爬取到的web网页解析成dom树结构，得到web网页dom树，根据所述数据提取条件对所述web网页dom树进行分析，提取所需数据。本发明基于网页分析训练方法生成数据提取条件，在将web页面解析后生成dom树结构，根据数据提取条件来对web页面进行分析，当条件完全匹配成功后，精确提取所需的网页链接和数据内容，从而保证了数据的准确性，而且因为不需要分析整个网页所以匹配效率高，另外只提取所需网页链接进行网页爬取，可以保证数据的时效性，节省网络资源，并减少存储空间。 | ||
| 搜索关键词： | 一种 网页 方法 系统 | ||
【主权项】：
一种网页爬取方法，其特征在于，包括：对样本网页进行训练得到数据提取条件；爬取web网页；将爬取到的web网页解析成dom树结构，得到web网页dom树，根据所述数据提取条件对所述web网页dom树进行分析，提取所需数据；所述对样本网页进行训练得到数据提取条件包括：获取样本网页及所要提取的数据；将所述样本网页解析为dom树结构，得到样本网页dom树；当所要提取的数据为内容数据时，遍历样本网页dom树的节点，分别将内容数据与节点属性值及节点内容进行比较，找到内容数据在样本网页dom树中的节点，然后从该节点回溯到样本网页dom树的根节点，将回溯中经历的各节点信息以及内容数据在节点中的位置记录为数据提取条件；当所要提取的数据为URL地址时，遍历样本网页dom树的节点，将URL地址与节点内容进行比较，找到URL地址在样本网页dom树中的节点，然后从该节点回溯到样本网页dom树的根节点，将回溯中经历的各节点信息以及节点URL地址属性记录为数据提取条件。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国移动通信集团安徽有限公司;南京中兴软创科技股份有限公司，未经中国移动通信集团安徽有限公司;南京中兴软创科技股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201310198598.5/，转载请声明来源钻瓜专利网。
- 上一篇：用于将多个对象布置到输出单位上的方法和设备
- 下一篇：一种内存分配方法及装置
