[发明专利]基于聚类模型的话题检测方法、装置和计算机设备

说明书

本发明公开了一种基于聚类模型的话题检测方法、装置、计算机设备和存储介质。所述方法包括：基于预设的聚类模型，对组合文本特征进行文本聚类，得到文本聚类结果；将文本聚类结果中文本数量大于预设文本数量阈值的话题确定为热点话题。因此，采用本申请实施例，由于预设的特征生成模型包括第一特征生成模型和第二特征生成模型，这样，使得生成并输出的文本特征为组合文本特征，该组合文本特征更加精准；此外，由于引入了预设的聚类模型，该预设的聚类模型能够对组合文本特征至少进行两次文本聚类，使得得到的文本聚类结果更加精准；将文本聚类结果中文本数量大于预设文本数量阈值的话题确定为热点话题；这样，最终确定出的热点话题也更加精准。

技术领域

本发明涉及自然语言处理技术领域，特别涉及基于聚类模型的话题检测方法、装置和计算机设备。

背景技术

现有的话题检测方法，是从文本中提取出表述的事件，并将类似的事件进行聚类，从而能够从海量信息中筛选出话题信息，发现热点话题，并对热点话题进行后续跟踪。

目前主要的话题检测方法，先将文本表示成向量空间模型，再用层次聚类法对文本向量进行聚类，形成话题簇。由于上述传统的向量空间模型使用词来表达文本，未考虑文本中的语义信息；或者，虽然用主题向量表达文本语义信息，但是其语义粒度过大，这样，均会将不同话题的子话题聚成一类。

现有传统的话题检测方法，对于构建好的文本特征，使用聚类的算法，将同一主题的文本进行聚类。在话题检测中使用分层聚类的方法，依次合并话题集中最相似的两个话题，直至话题集中任意两个话题之间的相似度均小于阈值。上述话题检测方法所采用的算法的缺点是具有明显的贪心特征，若一个数据点分配出现错误，则会出现连带性错误。

此外，若采用k-means的聚类算法进行话题检测，则直接使用表示文本的特征向量T来进行k-means聚类。由于该算法中的K值是自定义的，对初始聚类中心的选取很敏感，因此，采用该算法的检测方法，易陷入局部最优。

现有的基于向量空间模型的话题检测方法存在不能表达语义，主体向量表达的语义粒度过大、且无法精准地检测出热点话题的问题。

发明内容

基于此，有必要针对现有无法精准地检测出热点话题的问题，提供一种基于聚类模型的话题检测方法、装置、计算机设备和存储介质。

第一方面，本申请实施例提供了一种基于聚类模型的话题检测方法，所述方法包括：

获取待检测的话题文本数据；

基于预设的特征生成模型，对每一所述待检测的话题文本数据进行特征生成，生成并输出组合文本特征，所述预设的特征生成模型包括第一特征生成模型和第二特征生成模型，所述第一特征生成模型为能够生成语义特征向量的模型，所述第二特征生成模型是能够生成命名实体词向量的模型；

基于预设的聚类模型，对所述组合文本特征进行文本聚类，得到文本聚类结果；

将所述文本聚类结果中文本数量大于预设文本数量阈值的话题确定为热点话题，并输出所述热点话题。

在一种实施方式中，所述基于预设的特征生成模型，对每一所述待检测的话题文本数据进行特征生成，生成并输出组合文本特征包括：

基于所述第一特征生成模型，对每一所述待检测的话题文本数据进行特征生成，生成对应的第一文本特征；以及

基于所述第二特征生成模型，对每一所述待检测的话题文本数据进行特征生成，生成对应的第二文本特征；

将每一所述待检测的话题文本数据对应的第一文本特征和第二文本特征作为对应文本的组合特征；

遍历每一所述待检测的话题文本数据进行组合文本特征生成，生成并输出组合文本特征。

在一种实施方式中，所述第一特征生成模型为Bert模型，所述方法还包括：