[发明专利]表情识别方法及装置

说明书

技术领域

本公开涉及图像处理技术领域，尤其涉及表情识别方法及装置。

背景技术

目前，人类面部表情一般可以分为7类，生气、悲伤、厌恶、害怕、吃惊、高兴和正常。相关技术中，通常基于单张图片进行人类面部表情的识别。但人类面部表情往往是一个连贯的动作，基于单张图片进行识别可能造成准确率较低的问题。

发明内容

为克服相关技术中存在的问题，本公开提供一种表情识别方法及装置。

根据本公开实施例的第一方面，提供一种表情识别方法，包括：

获取视频中包括的多帧图像；

对各帧图像分别进行特征提取，得到所述各帧图像对应的人脸特征向量；

对所述各帧图像对应的人脸特征向量进行合成，得到所述视频对应的人脸特征向量；

根据所述视频对应的人脸特征向量进行表情识别。

在一种可能的实现方式中，对各帧图像分别进行特征提取，得到所述各帧图像对应的人脸特征向量，包括：

获取图像中的人脸区域；

对所述人脸区域进行特征提取，得到所述人脸区域的整体特征向量；

对所述人脸区域进行特征提取，得到所述人脸区域的多个局部特征向量；

根据所述人脸区域的整体特征向量和所述多个局部特征向量，得到所述图像对应的人脸特征向量。

在一种可能的实现方式中，对所述人脸区域进行特征提取，得到所述人脸区域的多个局部特征向量，包括：

确定所述人脸区域中的关键点位置；

根据所述关键点位置从所述人脸区域中截取多个局部区域；

分别对所述多个局部区域进行特征提取，得到所述多个局部特征向量。

在一种可能的实现方式中，根据所述人脸区域的整体特征向量和所述多个局部特征向量，得到所述图像对应的人脸特征向量，包括：

将所述人脸区域的整体特征向量和所述多个局部特征向量进行拼接，得到拼接后的特征向量；

对所述拼接后的特征向量进行降维，得到所述图像对应的人脸特征向量。

在一种可能的实现方式中，对所述各帧图像对应的人脸特征向量进行合成，得到所述视频对应的人脸特征向量，包括：

通过循环神经网络对所述各帧图像对应的人脸特征向量进行合成，得到所述视频对应的人脸特征向量。

根据本公开实施例的第二方面，提供一种表情识别装置，包括：

获取模块，用于获取视频中包括的多帧图像；

提取模块，用于对各帧图像分别进行特征提取，得到所述各帧图像对应的人脸特征向量；

合成模块，用于对所述各帧图像对应的人脸特征向量进行合成，得到所述视频对应的人脸特征向量；

识别模块，用于根据所述视频对应的人脸特征向量进行表情识别。

在一种可能的实现方式中，所述提取模块包括：

获取子模块，用于获取图像中的人脸区域；

第一提取子模块，用于对所述人脸区域进行特征提取，得到所述人脸区域的整体特征向量；

第二提取子模块，用于对所述人脸区域进行特征提取，得到所述人脸区域的多个局部特征向量；

处理子模块，用于根据所述人脸区域的整体特征向量和所述多个局部特征向量，得到所述图像对应的人脸特征向量。

在一种可能的实现方式中，所述第二提取子模块包括：

确定子模块，用于确定所述人脸区域中的关键点位置；

截取子模块，用于根据所述关键点位置从所述人脸区域中截取多个局部区域；

提取子模块，用于分别对所述多个局部区域进行特征提取，得到所述多个局部特征向量。

在一种可能的实现方式中，所述处理子模块包括：

拼接子模块，用于将所述人脸区域的整体特征向量和所述多个局部特征向量进行拼接，得到拼接后的特征向量；

降维子模块，用于对所述拼接后的特征向量进行降维，得到所述图像对应的人脸特征向量。

在一种可能的实现方式中，所述合成模块用于：

通过循环神经网络对所述各帧图像对应的人脸特征向量进行合成，得到所述视频对应的人脸特征向量。

根据本公开实施例的第三方面，提供一种表情识别装置，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述的方法。