[发明专利]表情识别及卷积神经网络模型训练方法、装置和电子设备

权利要求书

1.一种表情识别方法，其特征在于，包括：

通过卷积神经网络模型的卷积层部分和获取的待检测的人脸图像中的人脸关键点，对待检测的人脸图像进行人脸表情特征提取，获得人脸表情特征图；

确定所述人脸表情特征图中与各个人脸关键点分别对应的感兴趣区域ROI；

通过卷积神经网络模型的池化层部分对确定的各ROI进行池化处理，获得池化后的ROI特征图；

至少根据所述ROI特征图获取所述人脸图像的表情识别结果。

2.根据权利要求1所述的方法，其特征在于，所述人脸图像包括静态人脸图像。

3.根据权利要求1所述的方法，其特征在于，所述人脸图像包括视频帧序列中的人脸图像。

4.根据权利要求3所述的方法，其特征在于，至少根据所述ROI特征图获得所述人脸图像的表情识别结果，包括：

根据所述当前帧的人脸图像的所述ROI特征图，获取所述当前帧的人脸图像的初步表情识别结果；

根据所述当前帧的初步表情识别结果和至少一在先帧的人脸图像的表情识别结果，获取所述当前帧的人脸图像的表情识别结果。

5.根据权利要求4所述的方法，其特征在于，根据所述当前帧的初步表情识别结果和至少一在先帧的人脸图像的表情识别结果，获取所述当前帧的人脸图像的表情识别结果，包括：

将所述当前帧的人脸图像的初步人脸表情识别结果与至少一在先帧的人脸图像的人脸表情识别结果进行加权处理，获得所述当前帧的人脸图像的表情识别结果，其中，所述当前帧的人脸图像的初步表情识别结果的权重大于任一在先帧的人脸图像的表情识别结果的权重。

6.一种卷积神经网络模型训练方法，其特征在于，包括：

获取训练用的样本图像及对应的人脸关键点的信息，其中，所述样本图像中包含有人脸表情的标注信息；

通过卷积神经网络模型的卷积层部分对所述样本图像进行人脸表情特征提取，获得人脸表情特征图；

确定所述人脸表情特征图中与各个人脸关键点分别对应的感兴趣区域ROI；

通过卷积神经网络模型的池化层部分对确定的各ROI进行池化处理，获得池化后的ROI特征图；

至少根据所述ROI特征图，调整所述卷积神经网络模型的网络参数。

7.一种表情识别装置，其特征在于，包括：

第一确定模块，用于通过卷积神经网络模型的卷积层部分和获取的待检测的人脸图像中的人脸关键点，对待检测的人脸图像进行人脸表情特征提取，获得人脸表情特征图；

第二第五确定模块，用于确定所述人脸表情特征图中与各个人脸关键点分别对应的感兴趣区域ROI；

第三确定模块，用于通过卷积神经网络模型的池化层部分对确定的各ROI进行池化处理，获得池化后的ROI特征图；

第四确定模块，用于至少根据所述ROI特征图获取所述人脸图像的表情识别结果。

8.一种卷积神经网络模型训练装置，其特征在于，包括：

第一获取模块，用于获取训练用的样本图像及对应的人脸关键点的信息，其中，所述样本图像中包含有人脸表情的标注信息；

第二获取模块，用于通过卷积神经网络模型的卷积层部分对所述样本图像进行人脸表情特征提取，获得人脸表情特征图；

第三获取模块，用于确定所述人脸表情特征图中与各个人脸关键点分别对应的感兴趣区域ROI；

第四获取模块，用于通过卷积神经网络模型的池化层部分对确定的各ROI进行池化处理，获得池化后的ROI特征图；

第五获取模块，用于至少根据所述ROI特征图，调整所述卷积神经网络模型的网络参数。

9.一种电子设备，其特征在于，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-5任一所述表情识别方法。

10.一种电子设备，其特征在于，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求6所述卷积神经网络模型训练方法。