[发明专利]基于海量新闻数据的快速热点检测方法及系统

权利要求书

1.一种基于海量新闻数据的快速热点检测方法，其特征在于，所述快速热点检测方法包括：

对多个待处理新闻文本进行链式聚类，得到粗聚类集合；

基于快速搜索和寻找密度峰值方法，对所述粗聚类集合进行搜索，得到细聚类集合；

提取所述细聚类集合中的代表性短语，所述代表性短语为热点词语；

其中，所述对多个待处理新闻文本进行链式聚类，得到粗聚类集合，具体包括：

抽取每个待处理新闻文本中的关键词及所述关键词对应的权重，每个关键词及对应的权重为一对词组，多对词组形成对应该待处理新闻文本的文本特征向量集feature-weight-pairs；其中，feature_weight_pairs＝[fw1,fw2,fw3,...,fwn]，fwn＝(feature_n,weight_n)，feature_n表示第n个关键词，weight-n表示关键词feature-n对应的权重；

采用哈希算法对每一文本特征向量集中的词组进行映射，得到对应待处理新闻文本的哈希特征向量集hash-weight-pairs，其中，hash-weight-pairs＝[hw1,hw2,...,hwn]，hwn＝(hash(feature-n),weight_n)，hash(feature_n)表示关键词feature_n的映射哈希值，且hash(feature-n)的位数为count_bits_n；

根据所述哈希特征向量集hash_weight-pairs中的各哈希值，生成表征内容指纹的二进制字符串；

根据各二进制字符串计算两个文本的相似度；

根据各相似度，对各待处理新闻文本进行划分，得到多个粗聚类集合。

2.根据权利要求1所述的基于海量新闻数据的快速热点检测方法，其特征在于，所述根据所述哈希特征向量集hash-weight_pairs中的各哈希值，生成表征内容指纹的二进制字符串，具体包括：

根据所述哈希特征向量集hash-weight-pairs中的各哈希值中各位的值，确定加权值：

如果为1，则对应向量维度处加上对应的权值；如果所在位是0，则对应向量维度处减去对应的权值；

对加权值进行位的纵向累加，生成位字符串；

对所述位字符串进行0、1转换，得到表征内容指纹的二进制字符串：

如果所述位字符串中的所在位大于0，则将该位转换为1；如果所述位字符串中的所在位小于0，则将该位转换为0。

3.根据权利要求1所述的基于海量新闻数据的快速热点检测方法，其特征在于，所述根据各二进制字符串计算两个文本的相似度的方法包括：

采用海明距离方法或余弦相似方法计算任意两个文本的相似度；

根据各相似度对相似的文本进行初步筛选，获得初步相似文本；

引用决策树转引关系判决方法，判别初步相似文本是否相似，以从各初步相似文本中选择出最终相似文本，根据最终相似文本确定对应的相似度。

4.根据权利要求1所述的基于海量新闻数据的快速热点检测方法，其特征在于，所述基于快速搜索和寻找密度峰值方法对所述粗聚类集合进行搜索，得到细聚类集合，具体包括：

从各所述粗聚类集合中随机选择K个中心点；

计算每个中心点的局部密度ρ_i，i表示中心点序号，i＝1,2,…,K；

对于每个中心点，计算与其他局部密度比它大的点的距离，取距离值的最小值，即最小距离δ_i；

绘制局部密度ρ_i-最小距离δ_i图；

根据各局部密度ρ_i-最小距离δ_i图确定细聚类集合：局部密度ρ_i-最小距离δ_i图中的离群点为新的聚类中心，将新的聚类中心与最近邻点归为一个类簇，得到细聚类集合，其中细聚类集合中的各点分别表示同一类的短语。