[发明专利]一种基于深度图神经网络的新闻收集及自动化提取方法

权利要求书

1.一种基于深度图神经网络的新闻收集及自动化提取方法，其特征在于：包括以下具体步骤：

S1.收集用于训练的新闻站点；

S2.以HTML标签为单位，标注收集到的新闻站点中的新闻链接，并通过深度图神经网络进行训练，得到链接提取模型；

S3.以HTML标签为单位，标注收集到的新闻链接中的新闻内容，并构建新闻内容提取模型；

S4.标注收集到的新闻内容中的正文内容，构建正文分类模型；

S5.收集需要分析的新闻站点的主页HTML源码，将所述的主页HTML源码输入到所述的链接提取模型中，并得到新闻链接；然后将得到的新闻链接输入新闻内容提取模型，得到新闻内容；最后将得到的新闻内容输入正文分类模型，提取到新闻信息。

2.根据权利要求1所述的基于深度图神经网络的新闻收集及自动化提取方法，其特征在于：步骤S2，具体步骤为：

S201.以HTML标签为单位，分别标注出站点HTML页面中的“板块”并且从每个“板块”中标注出其中的“新闻链接”标签；

S202.通过得到的“新闻链接”标签，构建异构图的第一节点分类模型，将第一节点分类模型作为链接提取模型；

S203.对链接提取模型进行训练，并得到训练后的链接提取模型。

3.根据权利要求2所述的基于深度图神经网络的新闻收集及自动化提取方法，其特征在于：步骤S202，具体为；以HTML源码中标签为深度图神经网络的节点，HTML源码中标签的父子关系和兄弟关系作为深度图神经网络的边，标签中的属性、文字作为节点的特征，构建异构图的第一节点分类模型，并将第一节点分类模型作为链接提取模型。

4.根据权利要求3所述的基于深度图神经网络的新闻收集及自动化提取方法，其特征在于：步骤S203，具体为：将新闻链接的提取任务看作是深度图神经网络的节点分类任务，将S201中标注数据划分为训练集、验证集和测试集，对所述的链接提取模型进行训练。

5.根据权利要求4所述的基于深度图神经网络的新闻收集及自动化提取方法，其特征在于：步骤S3，具体步骤为：

S301.对步骤S2中收集到的“新闻链接”进行标注，以新闻正文页的HTML标签为单位，分别标注出新闻正文页中的“标题”标签、“发表时间”标签、“作者”标签、“内容”标签、“来源”标签；

S302.通过构建异构图的第二节点分类模型，将第二节点分类模型作为新闻信息提取模型；

S303.训练所述的新闻信息提取模型。

6.根据权利要求5所述的基于深度图神经网络的新闻收集及自动化提取方法，其特征在于：步骤S302，具体为：以HTML源码中标签为深度图神经网络的节点，HTML源码中标签的父子关系和兄弟关系作为深度图神经网络的边，标签中的属性、文字作为节点的特征，构建异构图的节点分类模型，并将第二节点分类模型作为新闻信息提取模型；

7.根据权利要求6所述的基于深度图神经网络的新闻收集及自动化提取方法，其特征在于：步骤S303，具体为：将新闻信息提取的任务看作是深度图神经网络的节点分类任务，将S301中标注数据划分为训练集、验证集和测试集，对所述的新闻信息提取模型进行训练。

8.根据权利要求7所述的基于深度图神经网络的新闻收集及自动化提取方法，其特征在于：步骤S4，具体步骤为：

S401.对步骤S3中得到的“内容”进行标注，每个新闻内容分别标注为“新闻”标签或“杂音”标签；

S402.根据收集到的“新闻”标签或“杂音”标签，训练正文分类模型。

9.根据权利要求8所述的基于深度图神经网络的新闻收集及自动化提取方法，其特征在于：步骤S401中，所述的“杂音”标签包括招聘信息、广告、新闻网站介绍。

10.根据权利要求9所述的基于深度图神经网络的新闻收集及自动化提取方法，其特征在于：步骤S402中，根据收集到的“新闻”标签或“杂音”标签，通过自然语言算法建立并训练正文分类模型。