[发明专利]基于BERT无监督文本分类的舆情分析方法和系统

说明书

本发明涉及一种基于BERT无监督文本分类的舆情分析方法和系统。该方法的步骤包括：定义类目关键词列表；利用BERT模型和无标注语料扩展类目关键词列表，根据扩展的类目关键词列表构建类目指示词表；通过类目指示词表和无标注语料训练BERT模型，用于预测类目指示词所属的类目；利用训练所得的BERT模型预测舆情文本所属的类目；根据BERT模型的预测结果进行舆情分析。本发明通过BERT语言模型和大规模无标注语料，能够得到效果较好的文本分类模型并实现舆情分析，可以用于热点话题发现、有害信息检测、自动生成舆情信息分类训练集等应用场景。

技术领域

本发明属于信息技术领域，涉及一种基于BERT无监督文本分类的舆情分析方法和系统，尤其适用无标注样本的分类场景。

背景技术

舆情的应用范畴由政务领域逐步扩展至企业服务、个人服务、行业研究等领域，而舆情分析作为舆情服务的基础技术，舆情系统作为舆情服务的基础工具，随着整个舆情行业的发展也经历了多轮变革与迭代。

目前，公知的文本分类模型有：朴素贝叶斯、BiLSTM、BERT等。这些文本分类模型都需要大量有类别标记的文本语料，而在实际舆情分析中，难以得到大量标注语料，使得上述文本分类模型的效果不理想。

发明内容

为了得到大规模标注语料，改善分类效果，提高舆情分析能力，本发明提供一种无监督文本分类模型，不需要大规模标注语料，就可以训练得到效果较好的文本分类模型。

本发明解决其技术问题所采用的技术方案是：

一种基于BERT无监督文本分类的舆情分析方法，该方法利用BERT语言模型从大规模无标注语料中学习类别意义，进而获得文本分类能力；该方法的步骤包括：

定义类目关键词列表；

利用BERT模型和无标注语料扩展类目关键词列表，根据扩展的类目关键词列表构建类目指示词表；

通过类目指示词表和无标注语料训练BERT模型，用于预测类目指示词所属的类目；

利用训练所得的BERT模型预测舆情文本所属的类目；

根据BERT模型的预测结果进行舆情分析。

进一步地，所述利用BERT模型和无标注语料扩展类目关键词列表，包括：

遍历无标注语料，遇到类目关键词时，用BERT模型预测该词出现位置可能出现的词语，得到候选词语列表；

按照词语出现概率对候选词语列表中的词语排序，截取top-N个词语作为扩展出的关键词；

删除每个类目关键词列表中的停用词，以及在多个类目关键词列表中都出现的词，再根据词语出现概率排序关键词，最后只保留top-M个词语。

优选地，所述top-N为top-50，所述top-M为top-100。

进一步地，所述根据扩展的类目关键词列表构建类目指示词表，包括：

遍历无标注语料的每个词语w，用BERT模型预测该词语位置可能出现的词语，得到词语列表；

按照词语出现概率对词语列表中的词语排序，截取top-N个词语；

如果top-N个词语中有n个词语出现在某个类目的类目关键词表中，则将词语w作为类目指示词，放入该类目下的类目指示词表中。

优选地，所述top-N为top-50，所述n为20。

进一步地，所述通过类目指示词表和无标注语料训练BERT模型，包括：

将BERT预测输出的类目指示词向量输入到softmax层；