[发明专利]一种基于预训练语言模型的事件检测与摘要方法

权利要求书

1.一种基于预训练语言模型的事件检测与摘要方法，其特征在于，该方法包括以下步骤：

S1：对输入的社交媒体文本进行预处理，删除文本中不需要的信息并对文本进行分词,具体的子流程如下：

S11：输入的社交媒体文本集合记为D，D＝{d₁,d₂,…,d_|D|}，针对D中的每条文本获取对应的评论，得到的评论文本集合记为C，C＝{c₁,c₂,…,c_|C|}，共有|D|条社交媒体文本和|C|条评论文本，使用正则表达式删除文本中的短链接和@其他用户的无关信息；

S12：使用分词工具对文本进行分词，并删除低频词，得到对应的词语序列集合D′和C′，其中其中w表示句子中的词语，m和g分别表示集合D′和C′中文本的长度，m和g的下标表示文本编号，m₁和g₁分别表示D′和C′中第一条文本的长度，w_i′,j′表示第i′条文本中的第j′个词语，和分别表示D′和C′中第一条文本中的第m₁和g₁个词，即D′和C′中第一条文本中最后一个词；

S2：使用BERT模型作为编码器对输入D′和C′中的每个词语w进行向量化表示，挖掘文本的语义和结构信息，具体的子流程如下：

S21：确定的D′和C′集合中文本的长度n；

S22：对D′和C′集合中的所有文本的开始和结尾添加标记符号，长度大于n的文本只保留前n个词语，长度小于n的文本加入补充标记使其满足长度为n，得到更新后的D′和C′，

D′＝{(w_1,1,w_1,2,…,w_1,n),…,(w_|D|,1,w_|D|,2,w_|D|,3,…,w_|D|,n)}

C′＝{(w_1,1,w_1,2,…,w_1,n),…,(w_|C|,1,w_|C|,2,w_|C|,3,…,w_|C|,n)}；

S23：利用BERT模型挖掘文本的语义和结构信息，获取输入D′和C′的向量化表示，D′集合中的每一条文本得到对应的向量得到向量的集合下标表示文本的编号，同样的C′集合中的每条文本得到对应的向量得到向量的集合

S3：基于向量化后的文本集合和事件检测模型使用卷积神经网络结合记忆网络结合损失函数训练得到事件向量，具体的子流程如下：

S31：将输入卷积神经网络得到关键事件全局特征卷积公式为其中M表示权重矩阵，h表示卷积核的大小，b表示偏置，f表示激活函数，v_i表示卷积得到的事件特征，

S32：将中的文本表示向量作为外部信息，结合评论中的关键事件信息输入记忆网络，学习得到事件表示矩阵E＝[e₁,e₂,…,e_k]，其中e表示事件向量，k为预先确定的超参数，表示需要挖掘k个事件；

S33：最后将中的文本向量输入以GRU为基本单元的解码器中，还原输入序列D′，结合相关预设损失函数完成所述事件检测模型的训练；

S4：根据训练完成的所述事件检测模型，基于事件表示矩阵E和中的文本表示向量计算相似度，完成事件检测和事件摘要，展示事件，具体的子流程如下：

S41：根据事件表示矩阵E，计算中的文本向量与事件向量的相似性并对similar_i′,j进行归一化其中similarity_i′,j表示文本向量与事件向量e_j的相似度；

S42：事件检测基于相似度similarity_i′,j实现，具体根据相似度similarity_i′,j对文本进行聚类，每个类别就表示一个事件，第i个事件S_i，表示为S_i＝{d_r|i＝argmax_k(similarity_r,k),1≤r≤|D|}，r表示社交媒体文本的编号，i表示事件编号，1≤i≤k；

S43：根据每个事件集合S_i中的文本，选择相似度最大的文本作为事件内容的摘要。