[发明专利]一种基于BERT的网络不良短文本检测方法、装置及存储介质

权利要求书

1.一种基于BERT的网络不良短文本检测方法，其特征在于，包括以下步骤：

采集短文本，对所述短文本进行标注，将标注后的短文本分为测试数据集和训练数据集，根据所述测试数据集和训练数据集训练BERT模型，得到基于不良短文本检测的BERT模型；

将待检测短文本及其对应的额外信息输入至所述基于不良短文本检测的BERT模型中，获取对应的隐藏状态的语义表示，根据隐藏状态的语义表示，获取不良短文本标签；

将所述不良短文本标签、待检测短文本及其对应的额外信息输入至所述基于不良短文本检测的BERT模型中，获取对应的隐藏状态的语义表示，根据隐藏状态的语义表示，判别出不良短文本的类型。

2.根据权利要求1所述的基于BERT的网络不良短文本检测方法，其特征在于，对所述短文本进行标注，将标注后的短文本分为测试数据集和训练数据集，根据所述测试数据集和训练数据集训练BERT模型，具体包括，将所述短文本标注为不良短文本或者正常短文本，将不良短文本标注为不同类型的不良短文本，将标注后的短文本分为测试数据集和训练数据集，利用测试数据集、训练数据集以及短文本的额外信息，训练BERT模型。

3.根据权利要求1所述的基于BERT的网络不良短文本检测方法，其特征在于，利用测试数据集、训练数据集以及短文本的额外信息，训练BERT模型，具体包括，利用测试数据集、训练数据集以及短文本的额外信息，并使用Gelu作为激活函数，使用Adam优化器，使用交叉熵损失函数训练BERT模型，其中，交叉熵损失函数为

其中，y表示短文本数据集的真实标签，p表示模型预测的标签，m表示标签的数量，n表示短文本数据集的数量。

4.根据权利要求1所述的基于BERT的网络不良短文本检测方法，其特征在于，将待检测短文本及其对应的额外信息输入至所述基于不良短文本检测的BERT模型中，获取对应的隐藏状态的语义表示，根据隐藏状态的语义表示，获取不良短文本标签，具体包括，将待检测短文本及其对应的额外信息进行向量化，得到输入向量，将所述输入向量输入至所述于不良短文本检测的BERT模型，将输入向量编码为隐藏状态，获取隐藏状态的注意力权重，根据所述隐藏状态及其注意力权重，获取隐藏状态的语义表示，根据所述隐藏状态的语义表示，获取不良短文本标签。

5.根据权利要求4所述的基于BERT的网络不良短文本检测方法，其特征在于，根据所述隐藏状态的语义表示，判别出不良短文本，具体包括，将[CLS]代表的短文本与所有隐藏状态的语义表示连接起来，形成用于分类的向量R，将向量R输入全连接层，获取不良短文本标签。

6.根据权利要求5所述的基于BERT的网络不良短文本检测方法，其特征在于，获取隐藏状态的注意力权重，具体包括，利用注意力权重计算公式，获取获取隐藏状态的注意力权重，其中，注意力权重计算公式为

f表示关系评分函数，f(H_i,T)＝tanh(W[H_i:T]+b)，tanh表示双曲正切激活函数，W和b表示模型的参数，H_i、T分别为隐藏状态和主题特征，A_i为注意力权重。

7.根据权利要求6所述的基于BERT的网络不良短文本检测方法，其特征在于，根据所述隐藏状态及其注意力权重，获取隐藏状态的语义表示，具体包括，利用语义表示公式，获取隐藏状态的语义表示，其中，所述语义表示公式为