[发明专利]一种基于生成式常识辅助增强对话中情绪识别的方法

权利要求书

1.一种基于生成式常识辅助增强对话中情绪识别的方法，其特征在于，包括以下步骤：

S1，基于编码器-解码器构建预训练模型，采用所述预训练模型对训练用对话进行话语编码获取所述训练用对话所包含的话语隐状态；

S2，利用常识图谱生成模型得到上下文相关的推断结果集合，基于上下文相关的推断结果集合，得到常识图谱的特征编码集合；

S3，基于所述话语隐状态、上下文文本对以及常识图谱的特征编码集合进行辅助性回复生成任务，并计算生成损失；同时利用所述话语隐状态进行话语上下文建模得到新的话语隐状态；

S4，基于所述新的话语隐状态计算监督对比学习损失和交叉熵损失；

S5，基于所述生成损失、监督对比学习损失以及交叉熵损失计算总体训练损失，并对所述预训练模型进行训练，直至获得训练好的预训练模型并将其作为对话情绪识别模型。

2.如权利要求1所述的方法，其特征在于，所述预训练模型具有对话级Transformer模块以及共享嵌入层，所述步骤S3中利用所述话语隐状态进行话语上下文建模得到新的话语隐状态，具体为将所述话语隐状态输入至对话级Transformer模块进行话语上下文建模得到新的话语隐状态。

3.如权利要求1所述的方法，其特征在于，所述步骤S2中利用常识图谱生成模型得到上下文相关的推断结果集合，基于上下文相关的推断结果集合，得到常识图谱的特征编码集合；具体为：

基于预训练好的常识图谱生成模型，输入当前话语进行前向传播，根据预设的常识关系集合，得到预测的上下文相关的常识推断结果集合E^r；

基于参数化的神经网络编码器，输入常识推断结果集合E^r，输出常识的特征编码集合h_r。

4.如权利要求3所述的方法，其特征在于，所述常识图谱生成模型为预先训练好的编码器-解码器结构模型，该模型的训练损失函数为：

|s|、|r|和|o|分别是元组主语短语、元组关系和元组宾语的token数目。

5.如权利要求4所述的方法，其特征在于，所述步骤S3中基于所述话语隐状态、上下文文本对以及常识图谱的特征编码集合进行辅助性回复生成任务，并计算生成损失，具体为：

用编码器对话语隐状态H_i进行编码后生成编码后的隐状态由解码器生成下一个词块的隐状态并通过Softmax函数得到词块u_i+1,j，其中在下一个词块的隐状态的生成过程中，引入常识图谱的特征编码集合h_r；

所述生成损失

θ为需要被优化的预训练模型的参数，E^r为上下文相关的常识推断结果集合。

6.如权利要求4所述的方法，其特征在于，所述步骤S3中利用所述话语隐状态进行话语上下文建模得到新的话语隐状态；具体为：

将经过编码的句子表示通过最大化池获取每个话语的聚合表示

针对一个上下文中的所有对话，基于多头注意力机制计算每两个不同话语之间的多头注意力，并对每个话语的不同特征进行聚合获取最终的隐状态表示；

再基于对话级Transformer模块进行上下文依赖关系的建模获取新的话语隐状态。