[发明专利]一种基于BERT的网络不良短文本检测方法、装置及存储介质

说明书

本发明涉及一种基于BERT的网络不良短文本检测方法、装置及计算机可读存储介质，一种基于BERT的网络不良短文本检测方法，包括以下步骤：采集短文本并进行标注，将标注后的短文本分为测试数据集和训练数据集，根据测试数据集和训练数据集训练BERT模型，得到基于不良短文本检测的BERT模型；将待检测短文本及其对应的额外信息输入至基于不良短文本检测的BERT模型中，获取对应的隐藏状态的语义表示，根据隐藏状态的语义表示，获取不良短文本标签；将不良短文本标签、待检测短文本及其对应的额外信息输入至基于不良短文本检测的BERT模型中，获取对应的隐藏状态的语义表示，根据隐藏状态的语义表示，判别出不良短文本的类型。该方法提高了不良短文本检测的性能。

技术领域

本发明涉及不良文本信息检测技术领域，尤其涉及一种基于BERT的网络不良短文本检测方法、装置及计算机可读存储介质。

背景技术

随着移动互联网和信息技术的飞速发展，各种社交媒体平台的大量使用对人们的生活和行为方式带来了巨大的改变；例如：微博、论坛和微信等网络应用逐渐成为了人们对网络热点事件分享和讨论的主要阵地。然而，一部分用心不良的网民利用互联网的虚拟性、匿名性和便捷性等特点，在网络中传播大量不良短文本，如色情、暴恐和广告等信息。这些网络不良短文本可以迅速传播到互联网的各个角落，不仅严重污染网络环境，还影响青少年身心健康。因此，通过信息技术自动检测出网民在社交媒体平台上发布的不良短文本信息，可以大大减轻人工审核的工作量，有助于创建和谐网络环境，并提升网民信息检索效率。

网络不良短文本检测任务是将网络短文本信息划分为正常短文本和不良短文本两类；然而，由于短文本噪声大、长度短、信息稀疏等特点，传统分类方法在短文本上效果较差；很多研究者利用主题信息丰富短文本的语义特征，进而提高分类性能，但网民在社交平台上发表的短文本信息往往用语不规范，缺少词语共现信息，且主题非常宽泛。

传统主题模型从短文本中抽取高质量主题特征是非常困难的，导致了不良短文本检测的性能较低。

发明内容

有鉴于此，有必要提供一种基于BERT的网络不良短文本检测方法、装置及计算机可读存储介质，用以解决现有技术中网络不良短文本检测的性能较低的技术问题。

本发明提供一种基于BERT的网络不良短文本检测方法，包括以下步骤：

采集短文本，对所述短文本进行标注，将标注后的短文本分为测试数据集和训练数据集，根据所述测试数据集和训练数据集训练BERT模型，得到基于不良短文本检测的BERT模型；

将待检测短文本及其对应的额外信息输入至所述基于不良短文本检测的BERT模型中，获取对应的隐藏状态的语义表示，根据隐藏状态的语义表示，获取不良短文本标签；

将所述不良短文本标签、待检测短文本及其对应的额外信息输入至所述基于不良短文本检测的BERT模型中，获取对应的隐藏状态的语义表示，根据隐藏状态的语义表示，判别出不良短文本的类型。

进一步地，对所述短文本进行标注，将标注后的短文本分为测试数据集和训练数据集，根据所述测试数据集和训练数据集训练BERT模型，具体包括，将所述短文本标注为不良短文本或者正常短文本，将不良短文本标注为不同类型的不良短文本，将标注后的短文本分为测试数据集和训练数据集，利用测试数据集、训练数据集以及短文本的额外信息，训练BERT模型。

进一步地，利用测试数据集、训练数据集以及短文本的额外信息，训练BERT模型，具体包括，利用测试数据集、训练数据集以及短文本的额外信息，并使用Gelu作为激活函数，使用Adam优化器，使用交叉熵损失函数训练BERT模型，其中，交叉熵损失函数为

其中，y表示短文本数据集的真实标签，p表示模型预测的标签，m表示标签的数量，n表示短文本数据集的数量。