[发明专利]一种社交媒体在线短文本聚类和话题检测方法

摘要

本发明公开一种社交媒体在线短文本聚类和话题检测方法，通过文本预处理、文本在线聚类、相似类的检测合并和热门话题的识别，一定程度克服现有在线短文本聚类方法因词向量空间高维稀疏而导致类聚和不充分的问题，实现了在线大规模短文本的有效聚类。本发明提出的可扩展词向量空间解决了高维稀疏词向量的存储和降低了计算复杂度；本发明采用的利用词语索引加速了聚类方法；改进的“相似胜者合并后全得”的聚类方式和“熵不增加”的相似类合并准则缓解了因短文本特征高维稀疏带来的相同话题类合并不充分问题；本发明采用的热门话题检测识别的方法能对有价值和无价值的话题能做一个比较简单但有效的分类，挖掘跟踪有价值的话题。

主权项

一种社交媒体在线短文本聚类和话题检测方法，其特征在于，包括：S1、对社交媒体短文本进行预处理，得到纯净的带标记的词语序列；S2、对经步骤S1预处理后的社交媒体短文本进行在线聚类，包括以下分步骤：S21、短文本的可扩展词向量构建；S22、短文本与类的余弦相似度计算；S23、根据步骤S22计算新出的文本与类的余弦相似度，选出与新文本余弦相似度高于第一阈值的类，将与新文本余弦相似度最高的类称为最相似类，把与新文本余弦相似度高于阈值的除最相似类以外其他所有相似类称为候选相似类，分别计算每一个候选相似类和最相似类的词频数向量相加合并后与新文本词向量的余弦相似度，如果该余弦相似度和合并前的最相似类与新文本的余弦相似度相比减小量小于第三阈值，或该余弦相似度和合并前的最相似类与新文本的余弦相似度相比有增加，则把该候选相似类合并入最相似类；S24、检测和合并相似短文本类，根据两个类的相似度来检测识别出这些未充分合并的类；S3、热门话题的检测，根据类文本总数、类文本平均到达率、类文本当前平均到达率对话题的热度进行推测，对热门话题进行识别。