[发明专利]一种网页正文抽取的方法有效
| 申请号： | 201310538575.4 | 申请日： | 2013-11-04 |
| 公开（公告）号： | CN103530429B | 公开（公告）日： | 2017-01-18 |
| 发明（设计）人： | 涂波 | 申请（专利权）人： | 北京中搜网络技术股份有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京安博达知识产权代理有限公司11271 | 代理人： | 徐国文 |
| 地址： | 100191 北京市海淀*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种网页正文抽取的方法，该方法包括以下步骤I、网页预处理；II、寻找所述网页中的最长串；III、创建DOM树，根据DOM查找所述最长串对应的节点；IV、根据所述最长串对应的节点的标签确定起始节点和结束节点；V、对所述起始节点和结束节点进行检查过滤；VI、输出过滤后的起始节点和结束节点中的文本。该方法针对模板或者分块技术在新闻内容抽取应用上的不足，基于最长串寻找种子段落，提高网页正文抽取的工作效率和准确率。 | ||
| 搜索关键词： | 一种 网页 正文 抽取 方法 | ||
【主权项】：
一种网页正文抽取的方法，其特征在于：所述方法包括以下步骤：I、网页预处理；II、寻找所述网页中的最长串；III、创建DOM树，根据DOM查找所述最长串对应的节点；IV、根据所述最长串对应的节点的标签确定起始节点和结束节点；V、对所述起始节点和结束节点进行检查过滤；VI、输出过滤后的起始节点和结束节点中的文本；所述步骤II包括以下步骤：1)、在所述网页正文中以行为单位寻找所述网页中的最长串；2)、获得并记录最长串长度，对所获得的最长串进一步处理，当最长串处于特定标签中时增加或减少获得的长度；所述步骤III中对所述网页创建DOM树，根据DOM树获得所有节点的信息，并将所述节点存储进数组，在包含节点的所述数组中查找包含对应最长串的节点；所述节点的信息包括文字数、汉字数、链接数。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京中搜网络技术股份有限公司，未经北京中搜网络技术股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201310538575.4/，转载请声明来源钻瓜专利网。
- 上一篇：一种五轴摇摆头机构
- 下一篇：一种破损螺栓的拆除方法
