[发明专利]一种基于BERT模型的话题检测方法、设备及存储介质

说明书

本发明涉及一种基于BERT模型的话题检测方法与装置、设备及存储介质，包括步：(1)使用BERT模型对原始数据中的文本进行编码，将可变长度文本转换为固定长度的文本特征向量；(2)对文本特征向量依次进行归一化、卷积、池化处理，得到文本特征向量；(3)计算文本特征向量之间的相似度，对相似的文本特征向量去重；(4)使用文本特征向量分类器对文本特征向量进行分类，剔除垃圾信息；(5)利用X‑means算法对剔除垃圾信息后的文本特征向量聚类，输出文本聚类结果。本发明很好地对文本数据进行话题检测，话题检测对舆情分析、新闻热门话题追踪、热门话题检测、突发话题检测以及事件检测等应用场景具有重要意义。

技术领域

本发明涉及一种基于BERT模型的话题检测方法、设备及存储介质，属于神经网络技术领域。

背景技术

随着互联网的迅速发展以及移动终端设备的日益普及，以新浪微博、微信、知乎、抖音、推特、 贴吧、论坛等社交媒体成为人们发表言论、分享经验、获取信息的重要工具和渠道。但社交媒体网 络规模庞大，面对社交网络中杂乱无章的海量数据，如何快速准确地检测、挖掘突发话题和热门话 题，并对其进行演化分析具有重要的研究意义和应用价值。

社交媒体文本数据规模庞大且文本数据语法不规范，并非所有的文本数据都是书面用语，文本 数据内容存在口语化与碎片化表达，不同实例的语言组织方式差别很大。这些社交媒体数据存在大 量的重复数据，其中大部分数据之间存在较小差异，并非完全重复。同时在这些数据中也存在大量 无任何价值且只是为了蹭热点的垃圾信息。

目前，针对社交媒体的话题检测方法可分为三类，一类是基于聚类的方法，另一类是基于主题 模型的方法，还有一类是基于统计信息的方法。基于聚类的方法有划分聚类、层次聚类、网格聚类 和密度聚类等，划分聚类方法如K-means算法需设置类别数，它对类簇中心选择敏感。层次聚类 方法计算量较大，很少直接适用于社交媒体的话题检测。网格聚类方法对参数设置敏感，聚类精度 不高。密度聚类方法的结果精度与参数设置密切相关，实用性不强；基于主题模型的方法有LDA 模型(Latent Dirichlet Allocation，隐狄利克雷分配模型)、PLSA模型(Probabilistic latent semantic analysis，概率隐性语义分析)和LSA模型(Latent semantic analysis，隐性语义分析)等，这些模型对 社交媒体文本话题的检测效果差，容易受到数据稀疏的影响。基于统计信息的方法有词频、 TF-IDF(TermFrequency–Inverse Document Frequency，词频-逆文档频率)等方法，这些方法在处理中小量规模、语法较为规整的数据时有一定的效果，但是在面对数据规模庞大且复杂的数据时，这些 方法的处理效果远远无法达到预期。

发明内容

针对现有技术的不足，本发明提供了一种基于BERT模型的话题检测方法。

本发明提出了一种基于BERT模型的话题检测方法。首先，使用BERT模型将原始文本数据中 的文本编码成固定长度的文本特征向量；接着，对文本特征向量做特征向量归一化、卷积、池化处 理得到降维后的文本特征向量；之后，计算文本特征向量的相似度，对相似的文本特征向量去重； 最后，利用X-Means算法对文本特征向量聚类，输出文本特征向量的聚类结果。本发明可以有效 地检测、挖掘社交媒体的突发话题和热门话题，提高了话题检测的效率及准确性。

本发明还提供了一种计算机设备和计算机可读存储介质。

术语解释：

1、BERT(BidirectionalEncoderRepresentationfromTransformers)模型是Google公司在2018年10 月推出的深度语言表示模型，它旨在通过联合调节所有层中的上下文来预先训练深度双向表示。使 用BERT模型编码句子，将可变长度的句子转变为固定长度的向量。