[发明专利]一种基于深度图神经网络的新闻收集及自动化提取方法

说明书

本发明涉及深度学习技术领域，公开了一种基于深度图神经网络的新闻收集及自动化提取方法，步骤：S1.收集用于训练的新闻站点；S2.以HTML标签为单位，标注收集到的新闻站点中的新闻链接，并通过深度图神经网络进行训练，得到链接提取模型；S3.以HTML标签为单位，标注收集到的新闻链接中的新闻内容，并构建新闻内容提取模型；S4.标注收集到的新闻内容中的正文内容，构建正文分类模型；S5.收集需要分析的新闻站点的主页HTML源码，将主页HTML源码输入到链接提取模型中，并得到新闻链接；将新闻链接输入新闻内容提取模型，得到新闻内容；最后将新闻内容输入正文分类模型，提取到新闻信息。本发明解决了现有技术计算复杂，不能方便快捷地提取新闻中的重要信息的问题。

技术领域

本发明涉及深度学习技术领域，更具体的，涉及一种基于深度图神经网络的新闻收集及自动化提取方法。

背景技术

现今处于大数据时代，热点新闻层出不穷，令人目不接暇，若要对大量的新闻事件进行分析处理，涉及到两个技术问题：一、找到大量新闻的链接。二、对新闻进行结构化的解析，提取出其标题、内容、作者、发表时间等信息。目前，大部分技术集中在新闻正文的提取上，怎么获得大量的新闻链接研究不多。大部分新闻正文提取技术通过正则表达式或者网页模板来完成此类工作，该类技术可以胜任以上工作，但存在弊端如下：网页模板、或正则表达式的构建耗费大量人力，而且当网站进行改版，需要重新修改网页模板或正则表达式，费时费力。另外，部分技术通过计算文本密度等特征，将新闻正文提取出来，存在弊端如下：一、仅能提取出正文内容。二、对于新闻正文过短或者网页其他干扰信息过多的网页，容易提取错误。

针对存在的不足与缺陷，现有技术公开了一种基于多模态机器学习的新闻网页正文抽取系统及方法，基于多模态机器学习的新闻网页正文抽取方法包括：进行不同类型特征的提取；多模态融合，进行特征的联合表示；进行网页正文分类模型训练。然而现有技术计算复杂，不能方便快捷地提取新闻中的重要信息，且也无法解决新闻链接获取困难的问题。因此如何发明一种能够方便快捷地从网站中获取大量新闻链接，并提取新闻信息的新闻自动化提取方法，是本技术领域亟需解决的问题。

发明内容

本发明为了解决现有技术计算复杂，不能方便快捷地提取新闻中的重要信息的问题，提供了一种基于深度图神经网络的新闻收集及自动化提取方法，其具有计算简单，高效方便的特点，对比现有的自动化抽取技术，能较好地解决新闻链接的获取问题，且在新闻正文内容的抽取上，也有较高的准确率。

为实现上述本发明目的，采用的技术方案如下：

一种基于深度图神经网络的新闻收集及自动化提取方法，包括以下具体步骤：

S1.收集用于训练的新闻站点；

S2.以HTML标签为单位，标注收集到的新闻站点中的新闻链接，并通过深度图神经网络进行训练，得到链接提取模型；

S3.以HTML标签为单位，标注收集到的新闻链接中的新闻内容，并构建新闻内容提取模型；

S4.标注收集到的新闻内容中的正文内容，构建正文分类模型；

S5.收集需要分析的新闻站点的主页HTML源码，将所述的主页HTML源码输入到所述的链接提取模型中，并得到新闻链接；然后将得到的新闻链接输入新闻内容提取模型，得到新闻内容；最后将得到的新闻内容输入正文分类模型，提取到新闻信息。

优选的，步骤S2，具体步骤为：

S201.以HTML标签为单位，分别标注出站点HTML页面中的“板块”并且从每个“板块”中标注出其中的“新闻链接”标签；

S202.通过得到的“新闻链接”标签，构建异构图的第一节点分类模型，将第一节点分类模型作为链接提取模型；

S203.训练并得到训练后的链接提取模型。