[发明专利]一种通过新词抽取网络舆情主题的方法

摘要

本发明公开了一种基于新词的网络舆情主题抽取方法，通过两个或两个以上的关键词拼接得到的新词作为主题词；其中，对于关键词的选取，需要考虑代表文章的中心和主旨的文本标题，文本标题分得的词作为文本的关键词，同时还提高算法效率和减少因为文本差异对主题抽取的影响；同时，本发明以平均实词匹配度来量化这些新词对于网络舆情的主题的贡献程度，平均实词匹配度越高表示新词对于网络舆情的主题的贡献程度越大，因而，具有相当高的可信度，能够适应当今网络舆情日益增长的趋势。

主权项

一种基于新词的网络舆情主题抽取方法，其特征在于，包括以下步骤：(1)、构建一个空的主题词典；(2)、利用网络爬虫从互联网中爬取网络新闻，对爬取的网络新闻进行去重处理后，将网络新闻的标题存入语料集中；(3)、遍历语料集中的每一个网络新闻标题，利用CRF模型对网络新闻标题进行分词，把所有的分词结果存入到数组1中；(4)、设置数据挖掘算法FP‑growth的支持度阈值，利用数据挖掘算法FP‑growth挖掘出数组中的频繁项集，得到由频繁项和对应支持度组成的频繁模式数组1；(5)、筛选频繁项集中项的个数为2的频繁模式，得到频繁模式数组2；(6)、遍历频繁模式数组2，计算频繁项集的置信度；设该频繁项集为M，其中的两个项分别为A和B，那么该频繁项集M对应的支持度S(M)为：C(M)＝S(M)(S(M_A)+S(M_B))/(2S(M_A)S(M_B))其中，S(M_A)和S(M_B)分别为频繁模式数组1中项的个数为1且恰好为A和B的频繁项集对应的支持度；判断置信度是否大于预设的阈值，如果大于，则进入步骤(7)；否则继续遍历频繁模式数组，直到遍历完成；(7)、将频繁项集的两个项分别以正序和倒序组成两个新词，并加入到主题词典中；(8)、重新遍历语料集中的每一个网络新闻标题，并检索主题词典，如果某一网络新闻标题中包含有主题词典中的新词，则以该新词为断点分割网络新闻标题，并进入步骤(9)；如果某一网络新闻标题中不包含有主题词典中的新词，则进入步骤(10)；(9)、利用CRF模型分别对分割后网络新闻标题进行分词，再将其对应的分词结果和断点对应的新词作为网络新闻标题的最终分词结果；(10)、利用CRF模型直接对网络新闻标题进行分词，得到最终分词结果；(11)、重复步骤(8)‑(10)，直到所有的网络新闻标题遍历结束后，将所有的最终分词结果存入到数组2中，同时删除主题词典中未被检索出的新词，再进入步骤(12)；(12)、将数组1和数组2中的每一项进行一一比对，如果每一项均相同，则网络舆情主题抽取结束，并进入步骤(13)；如果有某一项不相同，令数组1等于数组2再返回步骤(4)；(13)、输出主题词典(13.1)、将数组1中的所有词并入到最小颗粒词集合中，再标记出该集合中每一个词的词性；(13.2)、计算主题词典中所有新词的平均实词匹配度：设主题词典中某一新词为Topic，其中有个网络新闻标题包含该新词Topic，记为T1,T2,...Tn；计算新词Topic的平均实词匹配度ANMD(Topic)：ANMD(Topic)＝(n(Topic)/n(T1)+(n(Topic)/n(T2)+...+(n(Topic)/n(Tn))/n；其中，n(Topic)为拼成新词Topic的最小颗粒词集合中使用实词的个数，n(T1),n(T2),...n(Tn)分别为对应网络新闻标题在最小颗粒词集合中使用实词的个数；(13.3)、将主题词典中所有新词按平均实词匹配度大小进行降序排列，再按排列后的顺序进行输出。