[发明专利]文本分类方法、装置、存储介质及设备

权利要求书

1.一种文本分类方法，其特征在于，所述方法包括：

获取待处理文本；

调用情感分析模型中的目标语言模型对所述待处理文本进行编码处理，得到特征向量序列，所述目标语言模型为基于变换器的双向编码表征BERT模型，所述特征向量序列表征了所述待处理文本中词之间的上下文关系；

对确定的目标词进行向量化处理得到目标特征向量，所述目标词包括出现在所述待处理文本中的词语，或者所述目标词包括未出现在所述待处理文本中的词语；

对所述特征向量序列和所述目标特征向量进行第一特征融合处理，根据得到的第一特征向量和所述特征向量序列获取第二特征向量；

将所述第二特征向量和所述目标特征向量输入所述情感分析模型中的第二全连接层进行特征拼接处理，得到第二中间特征序列；

对所述第二中间特征序列进行第二线性变换处理；

将得到的第二线性变换结果通过第二激活函数进行第二非线性变换处理，得到第三特征向量；基于得到的所述第三特征向量，预测所述目标词在所述待处理文本中的情感极性；

所述方法还包括：

获取训练数据集和目标训练参数，所述训练数据集中包括训练样本和与所述训练样本匹配的情感极性标签；

根据所述目标训练参数，以所述训练样本作为初始模型的输入，以与所述训练样本匹配的情感极性标签作为所述初始模型的输出，对所述初始模型进行训练；

获取测试数据集，响应于所述初始模型对所述测试数据集的预测准确率高于目标阈值，停止训练过程，得到所述情感分析模型，所述测试数据集中包括测试样本和与所述测试样本匹配的情感极性标签；

其中，所述预测准确率是基于所述初始模型输出的情感极性预测结果和与所述测试样本匹配的情感极性标签确定的。

2.根据权利要求1所述的方法，其特征在于，所述目标语言模型包括顺次堆叠设置的N层结构相同的特征编码器，N的取值为正整数，所述方法还包括：

在所述目标语言模型的预训练过程中，获取训练语料的词向量、句子编码向量和位置编码向量；

将所述词向量、所述句子编码向量和所述位置编码向量进行相加处理，将得到的特征向量作为输入特征输入所述目标语言模型的第一层特征编码器；

通过堆叠设置的各层特征编码器依次对所述输入特征进行编码处理，直至最后一层特征编码器，其中，上一层特征编码器的输入作为下一层特征编码器的输出；将所述最后一层特征编码器输出的特征确定为所述训练语料的特征向量序列。

3.根据权利要求2所述的方法，其特征在于，各层特征编码器中均包括多头注意力层和前馈神经网络层；所述通过堆叠设置的各层特征编码器依次对所述输入特征进行编码处理，包括：

对于第j层特征编码器中包含的多头注意力层的第i个头结构，获取所述第i个头结构对应的第一线性变换矩阵、第二线性变换矩阵和第三线性变换矩阵；其中，i和j的取值均为正整数，1≤j≤N；

分别根据所述第一线性变换矩阵、所述第二线性变换矩阵和所述第三线性变换矩阵，对所述第i个头结构的输入特征进行线性变换处理，依次得到所述第i个头结构的查询序列、键序列和值序列；根据所述第i个头结构的查询序列、键序列和值序列，获取所述第i个头结构的输出特征；

将各个头结构的输出特征进行特征拼接处理，得到组合特征；

基于第四线性变换矩阵对所述组合特征进行线性变换处理，得到所述多头注意力层的输出特征；

将所述多头注意力层的输出特征输入所述前馈神经网络层，将所述前馈神经网络层的输出作为第j+1层特征编码器的输入特征。

4.根据权利要求1所述的方法，其特征在于，所述目标训练参数包括：学习率、所述训练数据集的遍历次数和L2正则化项中的一种或多种。

5.根据权利要求1至4中任一项权利要求所述的方法，其特征在于，所述对所述特征向量序列和所述目标特征向量进行第一特征融合处理，包括：

将所述特征向量序列和所述目标特征向量输入所述情感分析模型中的第一全连接层进行特征拼接处理，得到第一中间特征序列；

对所述第一中间特征序列进行第一线性变换处理；

将得到的第一线性变换结果通过第一激活函数进行第一非线性变换处理，得到所述第一特征向量。