[发明专利]基于LDA的新闻评论的话题挖掘方法

摘要

本发明涉及一种基于LDA的新闻评论的话题挖掘方法。现行的话题挖掘都是针对文档等长文本，对于短文本的挖掘还有很大的距离。本发明提出了基于LDA主题模型生成事件评论中的主题，并使用维基百科概念表示评论中的特征词形成评论的空间向量，对其进行k中心点聚类，生成主题簇并展示评论。首先，将维基百科语料库建立文档反向索引列表。其次，使用LDA主题模型确定主题和主题特征词。最后，使用k中心聚类评论。本发明可以有效地提高聚类的准确率，提高评论聚类的精确度。

主权项

基于LDA的新闻评论的话题挖掘方法，提出了基于LDA主题模型生成事件评论中的主题，并使用维基百科概念表示评论中的特征词形成评论的空间向量，对评论的空间向量进行k中心点聚类，生成主题簇并展示评论，其特征在于包括如下步骤：(1)根据维基百科语料库建立文档反向索引列表，具体是：A)下载维基百科中文语料库，去除不相关的页面，所述页面包括图片、音乐分类、运动项目、城市人口或国家人口；B)使用中科院的NLPIR分词系统对文档进行分词，并过滤停用词；C)统计所有文档中出现的词汇，过滤在所有文档中只出现一次的词汇，并建立索引词典(index,term)；D)计算每篇文档中出现词汇的权重，wi＝tfi×idf＝tfi×log(N/cfi)，其中tfi是词汇i在该文档中出现的频率，idf是逆文档频率,N是总的文档数目，cfi是文档中出现词汇i的文档数；E)查找索引字典和文档词汇的权重建立文档的反向索引列表，每一篇文档由(index,wterm)集合组成，wterm是索引号为index的词汇的权值；(2)使用LDA主题模型确定主题，具体是：F)对某一事件的所有评论作为LDA主题模型的输入文档集；G)给定参数k作为评论中包含的主题数，并采用gensim的LDA主题模型训练文档集；H)将评论与每个主题的相似度进行降序排列，获取大于阈值的评论作为聚类的数据源并确定评论的主题；(3)使用k中心点聚类评论，具体是：I)对于H)中的评论数据使用维基百科文档的反向索引列表转化每一条评论；J)使用维基百科的概念表示属性，构成评论的空间向量；K)使用余弦相似度公式度量两个评论间的距离；L)进行k中心点聚类形成k个主题簇。