[发明专利]一种通过新词抽取网络舆情主题的方法

权利要求书

1.一种通过新词抽取网络舆情主题的方法，其特征在于，包括以下步骤：

(1)、构建一个空的主题词典；

(2)、利用网络爬虫从互联网中爬取网络新闻，对爬取的网络新闻进行去重处理后，将网络新闻的标题存入语料集中；

(3)、遍历语料集中的每一个网络新闻标题，利用CRF模型对网络新闻标题进行分词，把所有的分词结果存入到数组1中；

(4)、设置数据挖掘算法FP-growth的支持度阈值，利用数据挖掘算法FP-growth挖掘出数组1中的频繁项集，得到由频繁项集中的频繁项和对应支持度组成的频繁模式数组1；

(5)、筛选频繁项集中频繁项个数为2的频繁模式，得到频繁模式数组2；

(6)、遍历频繁模式数组2，并计算频繁模式数组2的频繁项集的置信度；设频繁模式数组2的频繁项集为M，其中的两个项分别为A和B，那么该频繁项集M对应的置信度C(M)为：

C(M)＝S(M)(S(M_A)+S(M_B))/(2S(M_A)S(M_B))

其中，S(M_A)和S(M_B)分别为频繁模式数组1中频繁项个数为1且为A和B的频繁项集对应的支持度；

判断置信度是否大于预设的阈值，如果大于，则进入步骤(7)；否则继续遍历频繁模式数组，直到遍历完成；

(7)、将频繁项集的两个项分别以正序和倒序组成两个新词，并加入到主题词典中；

(8)、重新遍历语料集中的每一个网络新闻标题，并用网络新闻标题检索主题词典，如果某一网络新闻标题中包含有主题词典中的新词，则以该新词为断点分割网络新闻标题，并进入步骤(9)；如果某一网络新闻标题中不包含有主题词典中的新词，则进入步骤(10)；

(9)、利用CRF模型分别对分割后网络新闻标题进行分词，再将其对应的分词结果和断点对应的新词作为网络新闻标题的最终分词结果；

(10)、利用CRF模型直接对网络新闻标题进行分词，得到最终分词结果；

(11)、重复步骤(8)，直到所有的网络新闻标题遍历结束后，将所有的最终分词结果存入到数组2中，同时删除主题词典中通过网络新闻标题未被检索出的新词，再进入步骤(12)；

(12)、将数组1和数组2中的每一项分词进行一一比对，如果每一项分词均相同，则网络舆情主题抽取结束，并进入步骤(13)；如果有某一项不相同，令数组1等于数组2再返回步骤(4)；

(13)、输出主题词典；

(13.1)、设置最小颗粒词集合；将数组1中的所有词并入到最小颗粒词集合中，再标记出最小颗粒词集合中每一个词的词性；

(13.2)、计算主题词典中所有新词的平均实词匹配度：设主题词典中某一新词为Topic，其中有n个网络新闻标题包含该新词Topic，记为T1,T2,...Tn；

计算新词Topic的平均实词匹配度ANMD(Topic)：

ANMD(Topic)＝(n(Topic)/n(T1)+(n(Topic)/n(T2)+…+(n(Topic)/n(Tn))/n；

其中，n(Topic)为拼成新词Topic的最小颗粒词集合中使用实词的个数，n(T1),n(T2),…n(Tn)分别为对应网络新闻标题在最小颗粒词集合中使用实词的个数；

(13.3)、将主题词典中所有新词按平均实词匹配度大小进行降序排列，再输出主题词典。

2.根据权利要求1所述的一种通过新词抽取网络舆情主题的方法，其特征在于，所述步骤(8)中，检索主题词典时，如果主题词典中的两个及以上的新词有重叠的部分，则取最后被检索出的新词作为断点。