[发明专利]情绪识别方法、装置、电子设备和存储介质

权利要求书

1.一种情绪识别方法，其特征在于，包括：

采集待识别人物的人脸图像，以及与所述人脸图像的采集时机关联的所述待识别人物输出的语音信息；

对所述人脸图像进行人脸检测，根据人脸检测结果得到图像编码结果；

对所述语音信息进行文本编码和概念编码，根据文本编码结果和概念编码结果得到语音编码结果；

对所述图像编码结果和所述语音编码结果进行融合，根据融合编码结果识别所述待识别人物的情绪。

2.根据权利要求1所述的方法，其特征在于，对所述人脸图像进行人脸检测，包括：

基于多任务学习模型对人脸图像进行人脸检测；其中，多任务至少包括人脸分类任务、人脸框位置回归任务以及人脸关键点回归任务。

3.根据权利要求2所述的方法，其特征在于，所述多任务学习模型训练时的多任务损失函数为：

其中，L表示多任务学习模型中的最终损失值，表示第i个人脸图像样本的人脸分类任务的损失值，表示第i个人脸图像样本的人脸框回归任务的损失值，表示第i个人脸图像样本的人脸关键点回归任务的损失值，λ₁和λ₂为预设参数值，p_i表示第i个人脸图像样本中人脸预测概率，表示第i个人脸图像样本中人脸标注真值，t_i表示第i个人脸图像样本中人脸框预测位置信息，表示第i个人脸图像样本中人脸框标注位置信息，l_i表示第i个人脸图像样本中人脸关键点预测位置信息，表示第i个人脸图像样本中人脸关键点标注位置信息。

4.根据权利要求1所述的方法，其特征在于，根据人脸检测结果得到图像编码结果，包括：

基于卷积神经网络对所述人脸检测结果进行特征提取，得到特征提取结果；

采用协方差池化对所述特征提取结果进行计算，得到图像编码结果。

5.根据权利要求4所述的方法，其特征在于，协方差池化的计算公式如下所示：

其中，C表示协方差池化的计算结果，n表示特征提取结果中的特征维度，f_i∈(f₁，f₂，...，f_n)，f₁，f₂，...，f_n表示特征提取结果中n个维度的特征数据，

6.根据权利要求1所述的方法，其特征在于，在对所述语音信息进行文本编码和概念编码之前，还包括：

对所述语音信息进行语音识别，得到文本识别结果。

7.根据权利要求6所述的方法，其特征在于，对所述语音信息进行文本编码，包括：

使用Bi-LSTM对所述文本识别结果进行处理，得到所述文本识别结果的中间向量表示；

使用缩放点积注意力机制对所述中间向量表示进行处理，得到矩阵表示；

使用最大池化对所述矩阵表示进行处理，得到所述文本识别结果的句子表征，作为文本编码结果。

8.根据权利要求7所述的方法，其特征在于，在使用Bi-LSTM对所述文本识别结果进行处理之前，还包括：

对所述文本识别结果进行字符嵌入和/或词嵌入，得到文本嵌入向量；其中，基于卷积神经网络进行字符嵌入，基于预训练嵌入向量进行词嵌入；

相应的，使用Bi-LSTM对所述文本识别结果进行处理，包括：

使用Bi-LSTM对所述文本嵌入向量进行处理。