[发明专利]一种挖掘热词的方法与装置

权利要求书

1.一种挖掘热词的方法，其特征在于，该方法包括：

预先设置热词库并对热词库中的各热词设置相应的热词权重；

根据热词在文档中的词频以及热词库中设置的热词权重，将文档用热词库中热词进行表示；

将用热词库中热词进行表示的文档聚类为预设数目的文档类；

对预设数目的文档类进行重心排序，过滤掉文档类重心值小于预先设置的重心阈值的文档类；

对过滤后的文档类按照预先设置的热词选取策略进行热词选取。

2.如权利要求1所述的方法，其特征在于，所述预设数目为用热词库中热词进行表示的文档总数的平方根与预设的文档类系数的乘积；

所述将用热词库中热词进行表示的文档聚类为预设数目的文档类包括：

将用热词库中热词进行表示的文档设置为一个文档类；

采用贪心算法对设置的文档类进行分裂，使得当前分裂后生成的两个文档类的平均距离最大；

计算各文档类的类内距离以及各文档类之间的类间距离，选取类内距离与类间距离比值最大对应的文档类进行再分裂；

确认分裂得到的所有文档类数目达到预设数目。

3.如权利要求2所述的方法，其特征在于，在得到预设数目的文档类后，进一步包括：

对预设数目的文档类中的相似文档类进行合并处理；

所述对预设数目的文档类中的相似文档类进行合并处理包括：

计算每一文档类内所有文档的特征向量值的平均值，得到相应文档类重心；

根据两个文档类的重心计算该两文档之间的欧氏距离；

将计算得到的欧氏距离的倒数作为文档类间相似度，如果文档类间相似度超过预设的类间相似度阈值，合并该两个文档类。

4.如权利要求1所述的方法，其特征在于，所述过滤掉文档类重心值小于预先设置的重心阈值的文档类之后，进一步包括：

获取过滤得到的文档类内的文档数，将超过预先设置的最大文档数阈值的文档类、和/或，低于预先设置的最小文档数阈值的文档类进行过滤。

5.如权利要求1所述的方法，其特征在于，所述过滤掉文档类重心值小于预先设置的重心阈值的文档类之后，进一步包括：

计算文档类内各文档间相似度，将文档间相似度超过预先设置的文档相似度阈值的文档进行过滤。

6.如权利要求5所述的方法，其特征在于，所述计算文档间相似度包括：

获取文档类内任意两文档中，具有的最长公共字符串的长度；

获取文档类内该两文档中，具有较多字符串的文档所包含的字符串长度；

计算最长公共字符串的长度与所包含的字符串长度的商，得到文档间相似度。

7.如权利要求5所述的方法，其特征在于，所述计算文档间相似度包括：

对文档类内文档按字符串长度进行排序；

获取文档类内相邻两文档中，具有的最长公共字符串的长度；

获取文档类内该两文档中，具有较多字符串的文档所包含的字符串长度；

计算最长公共字符串的长度与所包含的字符串长度的商，得到文档间相似度。

8.如权利要求7所述的方法，其特征在于，进一步包括：

统计文档间相似度超过预先设置的文档相似度阈值的文档对，确定相似文档对的数量超过预先设置的相似文档对数量阈值，过滤该文档类。

9.如权利要求1所述的方法，其特征在于，所述按照预先设置的热词选取策略进行热词选取包括：

统计每一文档类内各热词的词频以及每一文档类的文档数；

如果文档类内热词的词频与该文档类的文档数的比值超过预先设置的该文档类热词阈值，选取该热词。

10.如权利要求1所述的方法，其特征在于，所述按照预先设置的热词选取策略进行热词选取包括：

统计每一文档类内各热词的词频以及该热词出现在各文档类内文档的文档数；

如果文档类内热词的词频与该热词出现在各文档类内文档的文档数的比值超过预先设置的文档类间热词阈值，选取该热词。

11.如权利要求9或10所述的方法，其特征在于，在所述选取该热词后，进一步包括：

计算最接近文档类重心的文档；

匹配选取的热词以及最接近文档类重心的文档中的热词，获取匹配的热词。