[发明专利]一种基于主题的Web页面清洗方法有效
| 申请号： | 201310378986.1 | 申请日： | 2013-08-27 |
| 公开（公告）号： | CN103440315A | 公开（公告）日： | 2013-12-11 |
| 发明（设计）人： | 沈琦;宋清明;张猛;汤艳 | 申请（专利权）人： | 北京工业大学 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京思海天达知识产权代理有限公司 11203 | 代理人： | 张慧 |
| 地址： | 100124 *** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明属于计算机科学与技术领域，涉及一种基于主题的Web页面清洗方法，包括：确定主题领域；采集样本页面，并对样本页面的网页结构进行分析，确定页面元素树形结构；确定抽取内容标签边界；根据标签边界定义正则表达式匹配规则，利用多个抽取规则组成抽取规则模板；对待清洗页面进行清洗预处理，剔除容易分辨的“噪音”内容；利用已生成的抽取规则模板进行页面清洗，得到清洗后的页面。本发明直接在页面中抽取有用信息，大大降低了页面清洗的复杂度和困难度。针对Web页面标签的复杂多样性和局部固定性，采用正则表达式直接匹配和抽取需要的标签，保留有用信息并自动剔除掉无用信息，可有效地实现页面清洗的目的。 | ||
| 搜索关键词： | 一种 基于 主题 web 页面 清洗 方法 | ||
【主权项】：
一种基于主题的Web页面清洗方法，其特征在于，直接在页面中抽取有用信息，针对Web页面标签的复杂多样性和局部固定性，采用正则表达式直接匹配和抽取需要的标签，保留有用信息并自动剔除掉无用信息；包括以下步骤：步骤一，确定主题领域：人工采集和选取多个样本页面进行分析，提取出关键词，由关键词确定页面内容的主题范围，最终确定主题领域；步骤二，采集样本页面，并对样本页面的网页结构进行分析，确定页面元素树形结构；步骤三，确定包含即将抽取的主题内容的抽取内容标签边界
- ；步骤四，根据标签边界定义正则表达式匹配规则，利用多个抽取规则组成抽取规则模板；步骤五，对待清洗页面进行清洗预处理，剔除容易分辨的“噪音”内容；步骤六，利用已生成的抽取规则模板进行页面清洗，得到清洗后的页面。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京工业大学，未经北京工业大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201310378986.1/，转载请声明来源钻瓜专利网。
