[发明专利]一种基于预训练语言模型的网络谣言检测方法

权利要求书

1.一种基于预训练语言模型的网络谣言检测方法，其特征在于，包括：

获取待检测的源文本以及多个其他用户的转发文本；

对源文本以及多个其他用户的转发文本各自进行预处理，将预处理后的转发文本连接，得到转发文本的集合；

将预处理后的源文本与转发文本的集合看作一对句子，构造成线性序列并输入至预训练语言模型中，通过预训练语言模型挖掘出源文本与转发文本的语义关系，并经过全连接层与softmax函数得到源文本为谣言与非谣言的概率；

其中，源文本记为S，任一转发文本记为m_i，预处理函数记为f_p(x)，则预处理后的文本记为：

S′＝f_p(S)

m_i′＝f_p(m_i)

其中，m_i′表示预处理后的转发文本，截取每条源文本的按时间排序的前L条转发文本，之后的全部舍弃，i＝1，2，...，L；

将预处理后的源文本S′与转发文本的集合M′看作一对句子TextA与Text B：

TextA＝S′

Text B＝M′

在TextA与Text B之间加上分隔符，前后加上标识符，获得输入进预训练语言模型的线性序列：

I_s＝[CLS]TextA[SEP]Text B[SEP]

其中，TextA之前的[CLS]以及Text B之后的[SEP]均为标识符，TextA与Text B之间的[SEP]为分隔符。

2.根据权利要求1所述的一种基于预训练语言模型的网络谣言检测方法，其特征在于，预处理包括如下处理方式中的一种或多种：繁体转换、去除统一资源定位符、删除表情符号、删除英文字符、删除特殊字符、删除空字符。

3.根据权利要求1所述的一种基于预训练语言模型的网络谣言检测方法，其特征在于，所述将预处理后的转发文本连接的方式包括：

其中，L表示转发文本数量，M′为转发文本的集合，句号为连接符号，m_i′表示预处理后的转发文本。

4.根据权利要求1所述的一种基于预训练语言模型的网络谣言检测方法，其特征在于，通过预训练语言模型的挖掘出源文本与转发文本的语义关系，并经过全连接层与softmax函数得到源文本为谣言与非谣言的概率表示为：

I_h＝F_BERT(I_s)

z＝f_{FC layers}(I_h)

Pr＝softmax(z)

其中，I_s表示线性序列，F_BERT()表示预训练语言模型处理函数，I_h表示预训练语言模型的输出结果；f_{FC layers}()表示全连接层处理函数，z表示全连接层的输出结果；Pr表示通过softmax函数得到的源文本为谣言与非谣言的概率。

5.根据权利要求1所述的一种基于预训练语言模型的网络谣言检测方法，其特征在于，将预训练语言模型与全连接层看作一个网络模型进行统一训练；训练阶段，构建二元交叉熵损失函数L_CE作为损失函数，再利用梯度反向传播算法，获得网络模型每一层参数的梯度信息，应用优化器，对网络模型进行优化，使得损失函数最小化，从而更新网络模型网络的参数；

二元交叉熵损失函数L_CE表示为：

其中，U为训练样本数目，y_i表示第i个样本的检测结果，y_i＝1表示第i个样本为谣言，y_i＝0表示第i个样本为非谣言，Pr(y_i)表示y_i对应的概率。

6.根据权利要求1所述的一种基于预训练语言模型的网络谣言检测方法，其特征在于，所述训练语言模型包括：BERT模型。