[发明专利]基于融合主题信息增强PU学习的事件相关新闻过滤的学习方法

说明书

本发明涉及基于融合主题信息增强PU学习的事件相关新闻过滤的学习方法。本发明将已标注和未标注的事件相关新闻数据集通过无监督预训练的方式进行主题信息抽取，再将抽取到的主题信息加入到PU学习的初次训练和后续的迭代训练过程中，确保在初始事件相关新闻样本较少的情况下能利用到更多的样本信息，并且在后续的迭代训练过程中都进行主题增强，使得每次迭代训练出来的分类器都能从未标注数据中获取到真正可靠的正负样本数据，来提高最终事件相关新闻分类器的性能。本发明比PU学习的基线模型，F1值提高了1.8％，且在低初始样本和高迭代的情况下领先更多。本发明利用主题信息增强PU学习的方法能有效解决与案例相关的新闻过滤任务中缺乏训练数据的问题。

技术领域

本发明涉及基于融合主题信息增强PU学习的事件相关新闻过滤的学习方法，属于自然语言处理技术领域。

背景技术

事件相关新闻过滤任务通常可以看作是一个二分类问题，常用的方法可以分为关键词检索和机器学习方法两类。早期研究者通过领域相关的关键词集合与新闻文本进行匹配，如KMP、Sunday等算法。目前机器学习算法是一种解决事件相关新闻过滤的有效方案。研究者通过统计方法来对数据分布进行假设来推断事件相关新闻类别，如SVM、决策树等。也有研究者使用深度学习算法来进行新闻过滤，使用深度网络来对文本的隐藏特征进行提取并用于分类。由于事件相关新闻场景复杂多变，很难构建出完备的关键词集合，因此不能使用关键词检索来进行事件相关新闻过滤任务，同时因为事件相关新闻的领域性和特殊性，仅可以通过已发生的案件收集到小规模事件相关新闻数据，很难覆盖所有的案件情况和场景，有大量未标注事件相关新闻隐含在历史新闻中，这种缺乏训练数据的情况会使得基于机器学习的文本过滤方法难以取得理想的效果。因此，如何在仅有少量事件相关新闻样本的情况下达到较优的过滤性能，是发明关注的重点。

本发明主要考虑到利用主题信息增强PU学习来进行事件相关新闻分类。因此，本发明在Yu等人、Liu等人、Ren等人、Li等人和Xiao等人提出的PU学习方法的基础上，充分利用新闻中的主题信息，融入主题信息增强PU学习，探索事件相关新闻文本分类的方法。

发明内容

本发明提供了基于融合主题信息增强PU学习的事件相关新闻过滤的学习方法，来充分利用新闻中隐含的主题信息，用以提高事件相关新闻过滤的准确率。同时相比其他基线方法在事件相关新闻过滤任务中取得更优的结果。

本发明的技术方案是：基于融合主题信息增强PU学习的事件相关新闻过滤的学习方法，所述方法的具体步骤如下：

Step1、训练分类器，同时加入无监督主题模型VAE进行增强；

Step2、将未标注数据通过训练的分类器模型进行预测，再将对未标注新闻的预测结果进行概率由高到低的排序；

Step3、初次的训练和预测过程完成后，进行PU学习的迭代，即在新得到的训练集上重新训练分类器并重复整个预测和训练过程；

Step4、将所有的样本放入分类器进行训练，得到本文所需要的事件相关新闻分类模型，进而更加准确的过滤出所需的事件相关新闻。

作为本发明的优选方案，所述步骤Step1的具体步骤为：

Step1.1、使用改进版的I-DNF算法进行非事件相关新闻数据提取，获取到和初始事件相关新闻相同规模的反例。

Step1.2、使用变分自编码(VAE)作主题模型，目的是为了从文档的词向量空间中抽取潜在特征，本发明理解为主题特征。本发明参考前人的工作以及VAE原理，实现了这种VAE结构并使用整个事件相关新闻数据集进行无监督预训练。来训练初始分类器。

Step1.3、使用Embedding和双向长短期记忆网络(BiLSTM)的网络结构作为分类器。

作为本发明的优选方案，所述步骤Step1.1的具体步骤为：