[发明专利]基于Pitman-Yor过程的新闻热点发现方法

摘要

本发明公开了一种基于Pitman‑Yor过程的新闻热点发现方法。本发明可以自动从新闻数据集中自动挖掘热点个数，而不需要人为的设定吗，也就是新闻热点的个数随着随着数据集大小而变化；然后，在现实的新闻数据集中，一个新的热点往往是处于新闻样本个数少量的类别中，另一方面，大多数已存在的、过时的新闻主题的类别的样本个数巨大，从而造成新热点的样本难以有效的识别出来。所以，本发明的另一个贡献在于新热点可以从这种极端不平衡的数据集中识别出新的热点样本。最终实现了新闻热点在这种真实存在的数据分布情况下的有效识别。

主权项

1.一种基于Pitman‑Yor过程的新闻热点发现方法，其特征在于：包括如下步骤：1)根据从互联网中抓取新闻文本原始数据集，利用数据预处理工具处理抓取到的原始数据集，去除不在正常值内的文档背景词项，该正常值的范围为1≤词频≤5000，统计文本中出现的每个词项次数，最终生成相应的词汇字典和合成一个含有全部数据的语料库数据矩阵；2)根据词汇字典和合成的语料库数据矩阵，对语料库的数据矩阵进行初始化，即每个文本为一个类簇，则初始的类簇个数为N；3)利用基于PYP模型的新闻热点发现聚类算法，则聚类分析的类簇个数为[1,N]；4)对聚类分析结果采用NMI聚类评价方法进行评估结果；若NMI接近于1；此时得到聚类结果中的极小类簇，就是发现的新闻热点；步骤3)中所述的聚类算法为：1)含有N个文本样本数据集的语料库：X＝{x₁,x₂,...,x_N}，初始化，每个文本为一个类簇；2)随机选取其中一个文本进行采样，剩余的N‑1篇作为观察量；计算这个文本在已存在的K个类簇中分布概率和分配为新类簇K+1的分布概率，进一步找出K+1中分布概率最大的类簇C_m，最后计算出最大类簇与剩下K个类簇的文本数的比值3)依据上一步的比值对相应类簇的大小进行惩罚，获得这个文本分配到K+1类簇的最终生成概率；4)同理对剩下的文本，重复2)、3)两步骤，直至全部样本采样完成，最后计算全部更新后的语料库的目标函数以判断是否可以收敛。