[发明专利]一种特定主体的跨网站通用新闻采集方法在审
| 申请号： | 202010378695.2 | 申请日： | 2020-05-07 |
| 公开（公告）号： | CN111581478A | 公开（公告）日： | 2020-08-25 |
| 发明（设计）人： | 冯翱;王维宽;宋馨宇;徐天豪 | 申请（专利权）人： | 成都信息工程大学;成都点石瑞达科技有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951 |
| 代理公司： | 成都智涌知识产权代理事务所(普通合伙) 51313 | 代理人： | 周正辉 |
| 地址： | 610200 四川省成都*** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种特定主体的跨网站通用新闻采集方法,包括：步骤1：引入疏密度判断的方法，对采集到的新闻页面使用行块分布函数进行预处理；步骤2：根据行块分布函数中显示的文本的分布情况，通过预先设定的阈值，确定可能包含正文的区域；步骤3：将预处理过的页面源码重构为DOM树；步骤4：对其使用readability算法进行加减权操作，根据设定的分数要求，判断正文内容或无用元素；步骤5：对处理后的内容，根据分数进行重新拼接，重组后生成正文内容。本发明将行块分布函数与Readability算法相结合，进行参数调优后，可快速准确提取网页的新闻数据，采用分布式部署及反爬、去重模块，系统整体具有效率高，鲁棒性好等特点。 | ||
| 搜索关键词： | 一种 特定 主体 网站 通用 新闻 采集 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于成都信息工程大学;成都点石瑞达科技有限公司，未经成都信息工程大学;成都点石瑞达科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202010378695.2/，转载请声明来源钻瓜专利网。
