[发明专利]热点挖掘方法及服务器和计算机可读存储介质

说明书

本申请公开了一种热点挖掘方法及一种服务器和计算机可读存储介质，该方法包括：获取当前时间周期的原始文档集；利用所述原始文档集生成频繁项集和每个所述频繁项集对应的文档簇；基于所述文档簇之间的相似性进行文档簇聚类，得到目标文档簇；根据所述目标文档簇确定热点信息。本申请提供的热点挖掘方法，通过构建频繁项集，过滤掉大量未包含频繁项集的文档，这些文档一般都不是热点相关文档，为后续层次聚类节省时间开销，提高了热点挖掘效率。

技术领域

本申请涉及热点挖掘技术领域，更具体地说，涉及热点挖掘方法及服务器和计算机可读存储介质。

背景技术

互联网时代，人们获取信息越来越便利。在开放的资讯上，人们通过浏览门户网站、订阅公众号、或者使用新闻类APP(中文全称：手机软件，英文全称：Application)获取信息。但是信息获取变得便利的同时，也造成了信息爆炸的弊端。所以，对于海量资讯新闻进行热点挖掘可以极大地减轻人们获取资讯的负担，使人们可以更快的了解和掌握当前发生的热点事件。

在相关技术中，首先对原始文档进行特征抽取，包括分词，去停用词，区分人名机构等实体词。然后进行文档表示，可以使用词袋集合、tf-idf(中文全称：词频-逆文本频率指数，英文全称：term frequency-inverse document frequency)向量和语义向量等。最后进行层次聚类，初始每个文档组成一个簇，不断迭代选择最相似的两个簇合并，直到小于最低相似阈值得到最终的文档簇，可以根据该文档簇生成热点。

由于标准层次聚类的时间复杂度为O(N² lg N)，N为文档数量，导致了上述热点挖掘方法效率较低。因此，如何提高热点挖掘效率是本领域技术人员需要解决的技术问题。

发明内容

本申请的目的在于提供一种热点挖掘方法、装置及一种服务器和一种计算机可读存储介质，提高了热点挖掘效率。

为实现上述目的，本申请第一方面提供了一种热点挖掘方法，包括：

获取当前时间周期的原始文档集；

利用所述原始文档集生成频繁项集和每个所述频繁项集对应的文档簇；

按照预设标准筛选所述频繁项集，得到目标频繁项集；

基于所述目标频繁项集对应的文档簇之间的文档标识相似性，和/或文档标题相似性，和/或文档内容相似性进行文档簇聚类，得到目标文档簇；

根据所述目标文档簇确定热点信息。

结合本申请第一方面的第一种实施方式，在本申请第一方面的第一种实施方式中，所述按照预设标准筛选所述频繁项集，得到目标频繁项集，包括：

选取包括实体词和非实体词的频繁项集作为候选频繁项集，将相关性大于第二预设值的候选频繁项集确定为所述目标频繁项集；其中，所述相关性为每个所述实体词与每个所述非实体词之间的相关性的平均值；

和/或，利用停用频繁项集过滤所有所述频繁项集，得到所述目标频繁项集；其中，所述停用频繁项集为持续时间周期数大于第三预设值的频繁项集。

结合本申请第一方面、本申请第一方面的第一种实施方式，在本申请第一方面的第二种实施方式中，所述基于所述目标频繁项集对应的文档簇之间的文档标识相似性，和/或文档标题相似性，和/或文档内容相似性进行文档簇聚类，得到目标文档簇，包括：

基于所述目标频繁项集对应的文档簇之间的所述文档标识相似性进行文档簇聚类，得到候选文档簇；

基于所述候选文档簇之间的候选文档标题相似性进行文档簇聚类，得到所述目标文档簇；其中，所述候选文档标题相似性为不同候选文档簇中候选文档标题之间的相似性，每一所述候选文档标题对应的文档数量不小于每一非候选文档标题对应的文档数量。