[发明专利]基于概念词的文本聚类方法

权利要求书

1.一种基于概念词的文本聚类方法，其特征在于：包括以下步骤：

对待聚类文本进行分句，通过概念词词表识别出分句后的待聚类文本中的概念词；所述概念词词表中包含若干概念词和若干类别，所述类别的数量小于等于所述概念词的数量；

将识别出的概念词进行masking处理后，输入已训练的词的BERT预训练模型中进行预测，得到各个masking处理后的概念词基于所述概念词词表的概率分布；

将各个masking处理后的概念词的概率分布进行maxpooling处理，分别得到maxpooling向量，选择位置最大值的向量作为所述待聚类文本的表达；

所述通过概念词词表识别出分句后的待聚类文本中的概念词的步骤，包括：分别对分句后的每一句待聚类文本匹配概念词词表，若待聚类文本中具有与概念词词表中相同的概念词，则将该概念词识别出来；

所述将识别出的概念词进行masking处理后，输入已训练的词的BERT预训练模型中进行预测，得到各个masking处理后的概念词基于所述概念词词表的概率分布的步骤，包括：

将识别出的概念词进行masking处理后，得到概念词对应的符号；

分句将符号输入已训练的词的BERT预训练模型中进行预测，得到该符号在所述概念词词表中的概率分布；

根据待聚类文本识别出的概念词在所述概念词词表中的概率分布，概率大的部分概念词则为该待聚类文本的概率描述；

将向量位置最大的值的向量进行K-means聚类，完成对所述待聚类文本的聚类。

2.根据权利要求1所述的基于概念词的文本聚类方法，其特征在于：所述待聚类文本为文字表达的信息，包括文章、新闻、文字材料、文字作品。

3.根据权利要求1所述的基于概念词的文本聚类方法，其特征在于：所述概念词词表通过人工添加、参考维基百科title的方式整理而成。

4.根据权利要求1所述的基于概念词的文本聚类方法，其特征在于：所述对待聚类文本进行分句的步骤，包括：根据标点符号对待聚类文本进行分句；所述标点符号包括句号、感叹号、问号。

5.根据权利要求1所述的基于概念词的文本聚类方法，其特征在于：在对所述待聚类文本进行概念词识别时，可将待聚类文本中不属于所述概念词词表的名词作为概念词添加至概念词词表中。