[发明专利]新闻自动生成方法、装置、设备及存储介质

说明书

本发明涉及数据采集技术，揭露了一种新闻自动生成方法，包括：对原始新闻网址集中各网址的页面进行网址抓取，将抓取到的网址作为待处理网址，重复网址抓取步骤，直到原始新闻网址集中网址抓取完毕，得到标准新闻网址集，对标准新闻网址集进行过滤得到待抓取新闻网址集，根据原始新闻网址集及待抓取新闻网址集构建新闻爬取顺序图，利用新闻爬取顺序图进行数据采集，并对采集到的数据进行新闻生成及排序，得到排列新闻。此外，本发明还涉及区块链技术，所述排列新闻可存储在区块链的节点中。本发明还提出一种新闻自动生成装置、电子设备以及计算机可读存储介质。本发明可以解决新闻生成效率较低且时效滞后的问题。

技术领域

本发明涉及数据采集技术领域，尤其涉及一种新闻自动生成方法、装置、电子设备及计算机可读存储介质。

背景技术

公司新闻可以让企业信息在最短时间内在网络上展现并传播，可以起到很好的宣传效果，能够提升企业影响力，是展示企业形象的窗口。企业官网发布的新闻更具有权威性，更能增加新闻发布的效果。新闻内容丰富、多样化，可以介绍产品信息、公司简介、公司活动、服务项目及联系信息等，可以加深客户对企业的了解。

传统的新闻内容发布、修改通常由一个后台内容管理系统完成。后台内容管理系统需要人工登录并新增、修改新闻，在时效滞后的同时，也需要大量的运营人工介入，人工的参与使得新闻发布工作效率低、运营成本高。

发明内容

本发明提供一种新闻自动生成方法、装置、设备及存储介质，其主要目的在于解决新闻生成效率较低且时效滞后的问题。

为实现上述目的，本发明提供的一种新闻自动生成方法，包括：

网址抓取步骤：利用定时抓取任务获取原始新闻网址集，对所述原始新闻网址集中各网址的页面进行网址抓取，将抓取到的网址作为待处理网址，并汇总所有待处理网址作为所述原始新闻网址集，重复所述网址抓取步骤，直到所述原始新闻网址集中所有网址抓取完毕，得到标准新闻网址集；

新闻爬取顺序图步骤：对所述标准新闻网址集进行过滤得到待抓取新闻网址集，根据所述利用定时抓取任务获取的原始新闻网址集及所述待抓取新闻网址集构建新闻爬取顺序图；

新闻生成步骤：利用所述新闻爬取顺序图进行数据采集，并对采集到的数据进行新闻生成及排序，得到排列新闻。

可选地，所述利用定时抓取任务获取原始新闻网址集，包括：

利用预设的抓取内容规则及预设的抓取时间规则设置所述定时抓取任务，并基于所述定时抓取任务从目标网址集中获取新闻网址集；

利用预设的优先级排列顺序对所述新闻网址集进行优先级排序，得到所述原始新闻网址集。

可选地，所述对所述标准新闻网址集进行过滤得到待抓取新闻网址集，包括：

利用预设的主题提取算法计算所述抓取内容规则中关键词与所述标准新闻网址集中新闻网页的页面相似度；

将所有页面相似度大于等于预设的相似度阈值的新闻网址汇总，得到所述待抓取新闻网址集。

可选地，所述利用预设的主题提取算法计算所述抓取内容规则中关键词与所述标准新闻网址集中新闻网页的页面相似度，包括：

对所述新闻网页进行分块处理，得到文本内容块及相关链接块；

依次计算所述关键词与所述文本内容块的相似度、以及所述关键词与所述相关链接块的相似度，分别得到文本相似度及链接相似度，基于所述文本相似度及所述链接相似度对所述新闻页面进行页面相似度计算，得到所述页面相似度。

可选地，所述依次计算所述关键词与所述文本内容块的相似度、以及所述关键词与所述相关链接块的相似度，分别得到文本相似度及链接相似度，包括：

利用下述公式执行相似度计算：