[发明专利]一种基于多源信息融合的情感识别方法和人机交互系统

权利要求书

1.一种基于多源信息融合的情感识别和人机交互系统，包括信息采集模块、信号预处理模块、信号分析模块、特征融合模块、情感识别模块、反馈模块、情感陪护模块和人机交互模块，其特征在于：

信息采集模块，用于采集用户的面部图像信息、语音信息以及语义信息；

信号预处理模块，用于对信息采集模块采集到的信号预处理；

信号分析模块，用于对信号预处理模块得到的信号进行分析处理；

特征融合模块，用于对信号分析模块得到的情感特征进行特征融合；

情感识别模块，用于根据特征融合模块得到的融合的情感特征进行情感识别；

反馈模块，用于将情感识别模块识别到的用户情感状态反馈到情感陪护模块；

情感陪护模块，用于根据反馈模块反馈的情感状态推荐情感陪护模式；

人机交互模块，用于根据情感陪护模块生成的情感陪护模式进行人机交互；

其中信号预处理模块进行的信号预处理包括面部图像信号、语音信号和语义信号的预处理，其中，面部图像信号预处理包括：利用滑动平均窗口的中值滤波器去除面部孤点噪声，保持图像的边缘特性，利用灰度变换进行图像归一化处理，将采集到的面部图像的灰度分布参数统一调整到预定的数值，调整图像灰度分布的均值和均方差分别为0和1；语音信号预处理包括：利用巴特沃斯带阻滤波器去除语音信号的50HZ工频干扰，基于样条插值和标准差的方法去除伪迹；语义信号预处理包括：对语义的数据长度进行归一化预处理，设置每个语义信号的序列固定长度为N，对于大于长度N的信号进行剪裁，对于小于长度N的信号进行补零填充；

信号分析模块对信号预处理模块得到的信号进行分析处理包括：将预处理后的面部图像信息通过卷积神经网络模型进行特征提取，该神经网络模型包含两个卷积层、两个最大池化层和一个全连接层，全连接层输出为提取的图像情感特征向量X_CNN，

其中，conv2表示卷积运算，W_CNN表示卷积核矩阵，valid是卷积的运算类型，X为输入的图像矩阵，B_CNN是偏置，表示池化运算；

将预处理后的语音信号通过长短时记忆网络对音频信号进行时频域特征提取，输出语音情感特征向量Y_LSTM，

其中,σ为激活函数，W_LSTM0、W_LSTM1为长短时记忆网络输入门和遗忘门的权重，B_LSTM0、B_LSTM1为长短时记忆网络输入门和遗忘门的偏置，Y为输入的语音信号；

将预处理后语义信号通过长短时记忆网络进行特征提取，输出语义情感特征向量Z_LSTM，

其中,σ为激活函数，W_LSTM2、W_LSTM3为长短时记忆网络输入门和遗忘门的权重，B_LSTM2、B_LSTM3为长短时记忆网络输入门和遗忘门的偏置，Z为输入的语义信号；

特征融合模块对信号分析模块得到情感特征进行特征融合包括：

对语音情感特征Y_LSTM、和语义情感特征Z_LSTM分别进行最大池化，得到池化后的特征向量

采用混合交叉熵注意力机制对语音情感特征和语义情感进行特征融合,混合交叉熵注意力机制的权重公式为：

其中，W是注意力权重向量，分别是是语音情感特征Y_LSTM、语义情感特征Z_LSTM进行一个最大池化后得到的特征向量，score是对齐函数；

加权后的语音语义融合特征为：

其中，o表示hardarm相乘，表示这两个特征向量的全连接；

将图像情感特征X_CNN＝[X1 X2 X3...Xn]与语音语义融合特征C_feature＝[C1 C2C3...Cm]进行全连接融合，得到最终融合特征D_feature，用矩阵表示为：

其中，m、n分别为语音语义融合特征、图像情感特征的维度，N为语音语义融合特征、图像情感特征的数量；

情感识别模块根据特征融合模块得到的融合的情感特征进行情感识别包括：

将得到的最终融合特征D_feature输入到softmax分类器中进行情感识别，并将情感识别类型分为：负面、中性、正面，识别方式如下：

P(y)＝softmax(W_p*D_feature+b_p)

其中，W_p、b_p是分类器softmax的参数，P是某种情感的预测概率，是预测识别出的情感的概率最大值，通过解码得到识别的情感类型；

情感陪护模块包括情感陪护信息库和智能学习模块，所述情感陪护信息库存储有用户的个人爱好信息，以及存储有与个人爱好信息相匹配的情感陪护模式；所述智能学习模块是预先设计好的智能学习模块，用于自动学习能够使用户情感状态调整变好的情感陪护模式，并自动添加到情感陪护信息库；

智能学习模块根据当推荐的情感陪护信息库中某个情感陪护模式使用户的情感由负面变为正面时，则给一个正向的激励，若某个情感陪护模式使用户的情感由正面变为负面时，则给一个负向的惩罚，智能学习模块的函数表达式为：

其中，T为情感陪护模式，q_t为当前情感状态，p_t为当前被推荐的情感陪护模式，q_t+1为下一个时刻采集到的用户情感状态，η为修正系数，r_t为奖励系数，j为情感陪护模块启动的次数，m为在第i次情感陪护模块启动时情感陪护模式p_t的奖励次数，n为第i次情感陪护模块启动时人机交互反馈的情感陪护模式p_t奖励次数，k为第i次情感陪护模块启动时智能学习模块推荐和人机交互反馈的情感陪护模式总次数；

人机交互模块用于显示情感陪护模块推荐的自适应情感陪护模式以及通过语音、文字方式与使用者进行确认当前的某种情感陪护模式使用者是否喜欢；

当某种情感陪护模式的被推荐的概率比较高时，智能学习模块则从云网络平台中搜集类似的情感陪护模式，并通过判断与搜索到的情感陪护模式的相关性，将相关性程度高的情感陪护模式添加到情感陪护信息库中，不断丰富情感陪护信息库，提高情感陪护的准确性；

智能学习模块通过判断搜索到的情感陪护模式与原情感陪护模式中的情感陪护的连接相似度，将相关性高的情感陪护模式添加到情感陪护信息库中，具体公式如下：

其中，V_i、V_j分别为情感陪护模式中的第i和第j个关键词句，ln(V_i)是V_i词句的集合，Out(V_j)是所有与Vj词句连接的词句集合，W_ji是词句V_i、V_j连接的权重，d是阻尼系数，rel_i表示V_i和V_j的连接度；

relx、rely分别表示原情感陪护模式和搜索到的情感阿陪护模式，γ为搜索到的情感陪护模式与原情感陪护模式的相似度，当γ取值为0.8-1时，表明两种情感陪护模式的相似度非常相关，当γ取值为0.5-0.8时，表明两种情感陪护模式的相似度相关，当γ取值为0-0.5时，表明两种情感陪护模式不相关。