[发明专利]基于聚类模型的话题检测方法、装置和计算机设备

权利要求书

1.一种基于聚类模型的话题检测方法，其特征在于，所述方法包括：

获取待检测的话题文本数据；

基于预设的特征生成模型，对每一所述待检测的话题文本数据进行特征生成，生成并输出组合文本特征，所述预设的特征生成模型包括第一特征生成模型和第二特征生成模型，所述第一特征生成模型为能够生成语义特征向量的模型，所述第二特征生成模型是能够生成命名实体词向量的模型；

基于预设的聚类模型，对所述组合文本特征进行文本聚类，得到文本聚类结果；

将所述文本聚类结果中文本数量大于预设文本数量阈值的话题确定为热点话题，并输出所述热点话题。

2.根据权利要求1所述的方法，其特征在于，所述基于预设的特征生成模型，对每一所述待检测的话题文本数据进行特征生成，生成并输出组合文本特征包括：

基于所述第一特征生成模型，对每一所述待检测的话题文本数据进行特征生成，生成对应的第一文本特征；以及

基于所述第二特征生成模型，对每一所述待检测的话题文本数据进行特征生成，生成对应的第二文本特征；

将每一所述待检测的话题文本数据对应的第一文本特征和第二文本特征作为对应文本的组合特征；

遍历每一所述待检测的话题文本数据进行组合文本特征的生成，生成并输出所述组合文本特征。

3.根据权利要求2所述的方法，其特征在于，所述第一特征生成模型为Bert模型，所述方法还包括：

从每一所述待检测的话题文本数据中选取任意一段文本作为当前待编码文本；

基于第一预设方式对当前待编码文本中的词语进行分词，得到多个具有完整语义的词语；

获取每个具有完整语义的词语的词向量；

将每个具有完整语义的词语的词向量输入中所述Bert模型中，输出任意一个具有完整语义的词语对应的Bert编码，任意一个具有完整语义的词语对应的Bert编码包括该词语的词语信息以及该词语对应的上下文信息。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

从每一所述待检测的话题文本数据中随机选取任意一段文本；

基于第二预设方式对该文本中的每一个字或单词进行分词，得到多个字或单词；

基于所述Bert模型，对该段文本选取多个预设位置的字或单词进行被掩处理；

基于第三预设方式，依次对多个预设位置中的任意一个预设位置的字或单词进行被掩处理，并利用所述Bert模型的多层Transformer机制预测任意一个被掩字或单词处的字或单词信息，所述第三预设方式包括：从所述多个预设位置中选取任意一个预设位置作为当前预设位置，赋予当前预设位置的字或单词替换为预设掩码符号的概率为第一概率、赋予当前预设位置的字或单词替换为随机字或单词的概率为第二概率，以及赋予当前预设位置的字或单词保持原字或原单词的概率为第三概率，且所述第一概率、所述第二概率和所述第三概率之和为1。

5.根据权利要求2所述的方法，其特征在于，所述第二特征生成模型为命名实体识别模型，所述方法还包括：

从每一所述待检测的话题文本数据中选取任意一段文本作为当前文本；

基于所述命名实体识别模型，对当前文本中的任意一个命名实体进行识别，所述命名实体包括人名、地名、机构名称以及其它类别的命名实体；

对当前文本通过预设格式的标签进行标注，得到并输出对应的标注结果，所述标注结果包括从当前文本中所选取的当前字或当前单词是命名实体的一部分、从当前文本中所选取的当前字或当前单词是人名/地名/机构/其它类别命名实体的开始词、从当前文本所选取的当前字或当前单词是人名/地名/机构/其它类别命名实体的继续词、从当前文本中所选取的当前字或当前单词不是命名实体的一部分。