[发明专利]一种基于图卷积神经网络的人脸情绪识别方法

权利要求书

1.一种基于图卷积神经网络的人脸情绪识别方法，其特征在于，包括如下步骤：

步骤1、将训练的视频序列按10帧每秒的采样速度，连续抽取4帧图片，即网络输入一组图片I_i包含4帧，索引i∈{0,1,2,3}；

步骤2、将通过步骤1所获得的一组图片I_i利用多任务卷积神经网络MTCNN人脸检测模型将图片I_i中的人脸分割生成人脸图片组F_i以及去除人脸的背景图片B_i，索引i∈{0,1,2,3}；

步骤3、利用FasterR-CNN模型算法检测图片中存在的各种物体类别，将背景图像B_i从欧式结构转换成非欧式结构的拓扑图V_i，V_i＝{v₁,v₂,...,v_t}包含36个节点，索引t∈{0,1,2,...,35}和i∈{0,1,2,3}；

步骤4、利用步骤2中生成的人脸图片组F_i分别执行串联卷积层阶段、平均池化阶段和注意力机制阶段；最终，获得人脸图片的特征信息X_face；

步骤5、利用步骤3中生成的拓扑图V_i分别执行初始阶段、图卷积阶段和注意力机制阶段；最终，获得拓扑图的特征信息Y_background；

步骤6、利用步骤4和步骤5中生成的X_face和Y_background分别执行融合阶段和分类阶段，最终得到视频或者图片的分类结果Cls(X_face,Y_background)；

步骤7、选出步骤6分类概率输出中与视频或图片标注类别相对应的概率值；

步骤8、基于步骤7得出的分类概率值，不断更新并优化获得最优的卷积权值参数和偏置参数；

所述步骤4具体实现如下：

步骤4.1、串联卷积阶段：该阶段由5个卷积运行块组成，每个卷积运行块是由卷积运算、批量归一化、激活函数和池化运算得到，其计算公式是：

X₁＝max(σ_r(bn(W₁*F_i+B₁)),0),i∈{0,1,2,3}    (1)

其中W₁和B₁分别是卷积权值参数和偏置参数，bn是批量归一化函数，σ_r是Relu激活函数；

步骤4.2、平均池化阶段：该阶段将X₁特征信息在时空维度上取平均，其计算公式是：

X₂＝aver(X₁)    (2)

步骤4.3、注意力机制阶段：该阶段包括卷积运算、激活函数和卷积运算，其计算公式是：

其中W₃¹和W₃²分别是第一层和第二层卷积权值参数，和分别是第一层和第二层偏置参数，X_face是从人脸图片提取出来的特征信息；

所述步骤5具体实现如下：

步骤5.1、初始阶段：将拓扑图V_i进行全连接运算得到其输出Y₁，其计算公式是：

Y₁＝W₁*V_i+B₁,i∈{0,1,2,3}    (4)

其中W₁和B₁分别是全连接层权值参数和偏置参数；

步骤5.2、图卷积阶段：该阶段由4个图卷积运算块组成，一个图卷积运算块包括4次卷积运算，一个残差运算，得到其输出Y₂，其计算公式是：

Y₂＝W_r*(R*Y₁*W_g)+Y₁    (5)

R＝(W_i*Y₁(V_i)^T*(W_j*Y₁(V_j))),i∈{0,1,2,3},j∈{0,1,2,3}

其中W_i和W_j分别是相关系数卷积层的权重参数，W_r和W_g分别是图卷积残差运算和图卷积运算的权重参数；

步骤5.3、注意力机制阶段：该阶段包括卷积运算、激活函数和卷积运算，其计算公式是：

其中W₃¹和W₃²分别是第一层和第二层卷积权值参数，和分别是第一层和第二层偏置参数，σ_r是Relu激活函数，Y_background是从背景图片提取出来的特征信息；

所述步骤6具体实现如下：

步骤6.1、融合阶段：该阶段将步骤4和步骤5生成的X_face和Y_background执行softmax逻辑回归运算再按通道维度连接，其计算公式是：

F₁＝{X_face*λ_face,Y_background*λ_background}{λ_face,λ_background}＝softmax(X_face,Y_background)                                                                          (7)

步骤6.2、分类阶段：该阶段包括2次卷积运算、丢失函数、激活函数和分类函数，其计算公式是：

其中W₂¹和W₂²分别是第一层和第二层卷积权值参数，和分别是第一层和第二层偏置参数，drop是丢失函数，Logsoftmax是最后的分类函数，σ_r是Relu激活函数；

所述步骤8中，若分类概率值没有达到预先设定的分类识别率，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤4；若分类概率值已经获得预先设定的分类识别率时，则停止反向传播，并最终求得步骤4、5和6所获得的卷积权值参数和偏置参数。