[发明专利]基于概念词的文本聚类方法

说明书

本发明涉及基于概念词的文本聚类方法，包括以下步骤：对待聚类文本进行分句，通过概念词词表识别出分句后的待聚类文本中的概念词；所述概念词词表中包含若干概念词和若干类别，所述类别的数量小于等于所述概念词的数量；将识别出的概念词进行masking处理后，输入已训练的词的BERT预训练模型中进行预测，得到各个masking处理后的概念词基于所述概念词词表的概率分布；将各个masking处理后的概念词的概率分布进行maxpooling处理，分别得到maxpooling向量，选择位置最大值的向量作为所述待聚类文本的表达。本发明依据概念词对聚类结果进行解释，使得聚类更有解释性，提高说服力。

技术领域

本发明涉及自然语言处理技术领域，特别涉及基于概念词的文本聚类方法。

背景技术

文本聚类(Text clustering)主要是依据的是著名的聚类假设：同类的文档（即文本）相似度较大，而不同类的文档相似度较小。作为一种无监督的机器学习方法，由于聚类不需要训练过程，以及不需要预先对文档进行类别的手工标注，因此具有一定的灵活性和较高的自动化处理能力，聚类已经成为对文本进行有效地组织、摘要以及导航的重要手段。

常规的文本聚类方法通过将文本映射成向量后，再进行相似度比较，这样聚类出来的文本类别存在不好解释的问题，缺乏说服力。

发明内容

本发明的目的在于对需要聚类的文本进行高效的聚类，让聚类结果更有解释性，提高聚类说服力，提供一种基于概念词的文本聚类方法。

为了实现上述发明目的，本发明实施例提供了以下技术方案：

基于概念词的文本聚类方法，包括以下步骤：

对待聚类文本进行分句，通过概念词词表识别出分句后的待聚类文本中的概念词；所述概念词词表中包含若干概念词和若干类别，所述类别的数量小于等于所述概念词的数量；

将识别出的概念词进行masking处理后，输入已训练的词的BERT预训练模型中进行预测，得到各个masking处理后的概念词基于所述概念词词表的概率分布；

将各个masking处理后的概念词的概率分布进行maxpooling处理，分别得到maxpooling向量，选择位置最大值的向量作为所述待聚类文本的表达。

在上述方案中，依据概念词对聚类结果进行解释，使得聚类更有解释性，提高说服力。

所述待聚类文本为文字表达的信息，包括文章、新闻、文字材料、文字作品。

所述概念词词表通过人工添加、参考维基百科title的方式整理而成。

所述对待聚类文本进行分句的步骤，包括：根据标点符号对待聚类文本进行分句；所述标点符号包括句号、感叹号、问号。

所述通过概念词词表识别出分句后的待聚类文本中的概念词的步骤，包括：分别对分句后的每一句待聚类文本匹配概念词词表，若待聚类文本中具有与概念词词表中相同的概念词，则将该概念词识别出来。

在对所述待聚类文本进行概念词识别时，可将待聚类文本中不属于所述概念词词表的名词作为概念词添加至概念词词表中。

所述将识别出的概念词进行masking处理后，输入已训练的词的BERT预训练模型中进行预测，得到各个masking处理后的概念词基于所述概念词词表的概率分布的步骤，包括：

将识别出的概念词进行masking处理后，得到概念词对应的符号；

将符号输入已训练的词的BERT预训练模型中进行预测，得到该符号在所述概念词词表中的概率分布；

根据待聚类文本识别出的概念词在所述概念词词表中的概率分布，概率大的部分概念词则为该待聚类文本的概率描述。