[发明专利]基于统计学和预训练语言模型的多标签文本分类方法

权利要求书

1.基于统计学和预训练语言模型的多标签文本分类方法，其特征在于，包括以下步骤：

S1、对需要分类的训练语料进行预处理；

S2、建立基于统计学方法和语言模型的标签获取模型；标签获取模型包括依次连接的关键词层、输入编码层、预训练语言模型层和相似度分析层：

关键词层：通过统计学方法得到排名靠前的k个关键词；

输入编码层：将输入转换为神经网络可识别的词向量；

预训练语言模型层：采用Google预训练好的语言模型：albert_small_zh_google模型；

相似度分析层：本层是一个全连接层，通过权值矩阵W将通过输入编码层得到的TF-IDF关键词词向量与句子向量映射到相同的向量空间后，进行相似度的计算；

S3、对获取的标签数据进行处理；具体实现方法为：对标签进行统计得到整个数据集的标签集合Lable_Set，对每个标签进行编号，得到标签集合Lable_Set对应的标签编号集合Lable_ID，再通过Lable_ID将数据集中的标签转换为对应的one-hot向量；

S4、建立基于预训练语言模型的多标签分类模型，利用得到的标签数据进行模型训练；

S5、使用训练好的多标签文本分类模型，对待分类的文本数据进行多标签分类。

2.根据权利要求1所述的基于统计学和预训练语言模型的多标签文本分类方法，其特征在于，所述步骤S1具体实现方法为：获取需要标注的语料数据集OrgData，并去除停用词，然后得到NewData并保存下来。

3.根据权利要求1所述的基于统计学和预训练语言模型的多标签文本分类方法，其特征在于，所述步骤S4的多标签分类模型包括依次连接的输入编码层、预训练语言模型层、全连接层和输出层；

输入编码层：将输入转换为神经网络可识别的词向量；

预训练语言模型层：采用Google预训练好的语言模型：albert_small_zh_google模型，输出向量为整个语义编码向量b_c；

全连接层：将预训练语言模型层输出的语义编码向量作为全连接层的输入，得到输出b_c′：

b_c′＝W′b_c

其中W′为全连接层的权值矩阵；

输出层：对全连接层的输出b_c′，通过softmax计算得到标签的概率分布y_t：

y_t＝softmax(b_c′)。

4.根据权利要求3所述的基于统计学和预训练语言模型的多标签文本分类方法，其特征在于，所述步骤S4的模型训练具体实现方法为：对多标签分类模型的输出概率分布向量与步骤S3中得到的真实标签的one-hot向量进行交叉熵损失函数计算，其计算公式为：

其中，p，q分别代表多标签分类模型的输出概率分布向量和真实标签的one-hot向量；p(x_i)和q(x_i)分别表示多标签分类模型的输出概率分布向量和真实标签的one-hot向量中第i个元素，n表示向量中元素的总数量；

采用梯度下降法训练该模型的参数，当模型产生的损失值满足设定要求或者达到最大迭代次数N，则终止该模型的训练。