[发明专利]一种基于爬虫技术的新闻大数据采集和自动化发布方法在审
申请号: | 202210147776.0 | 申请日: | 2022-02-17 |
公开(公告)号: | CN114637902A | 公开(公告)日: | 2022-06-17 |
发明(设计)人: | 赖贵全;任小强 | 申请(专利权)人: | 成都易达数安科技有限公司 |
主分类号: | G06F16/951 | 分类号: | G06F16/951;G06F16/955;G06F40/186;G06F16/2458 |
代理公司: | 成都聚蓉众享知识产权代理有限公司 51291 | 代理人: | 孟凡娜 |
地址: | 610000 四川省成都市*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种基于爬虫技术的新闻大数据采集和自动化发布方法,属于APP开发技术领域,目的在于解决现有技术都是基于海量URL的进行数据采集,导致采集的新闻稿件数据比较泛,对采集的新闻稿件类别归纳、分类等难度增加,使数据分析难度增加,造成人力成本增加、工作效率降低的问题。其基于爬虫技术对数据源的新闻大数据进行采集,通过数据源定义数据源类型,然后定制采集特征,对采集的数据进行数据分析、数据归类。再通过spiderCore对数据进行数据挖掘处理,加载多样式稿件模板,自动生成新闻稿件,结合当前业务,定义栏目分类、专题分类,自动分发新闻稿件到指定栏目。本发明适用于一种基于爬虫技术的新闻大数据采集和自动化发布方法。 | ||
搜索关键词: | 一种 基于 爬虫 技术 新闻 数据 采集 自动化 发布 方法 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于成都易达数安科技有限公司,未经成都易达数安科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202210147776.0/,转载请声明来源钻瓜专利网。