[发明专利]基于多任务学习与深度学习的人脸情绪分析方法及系统

说明书

本发明提供的基于多任务学习与深度学习的人脸情绪分析方法及系统，包括利用卷积神经网络学习人脸库中预设的分析任务的卷积层，得到人脸分析模型；获取待分析人脸图像，利用人脸检测算法对所述待分析人脸图像进行分析，提取待分析人脸图像中人脸区域；利用所述人脸分析模型对所述待分析人脸图像进行预测，得到所述待分析人脸图像中每个人脸区域对应的情绪信息。本发明应用多任务学习的概念于卷积神经网络上，使得多种和人脸相关的分析任务，可以用同一个分析模型来识别，如此可以减少分析模型的大小和加快识别的时间。另外，本发明针对人脸的不同部位用不同的卷积层来描述，使得各卷积层的任务较单一且专精，可以达到更好的识别效果。

技术领域

本发明属于电脑视觉和人机交互图像处理技术领域，具体涉及一种基于多任务学习与深度学习的人脸情绪分析方法。

背景技术

随着电脑视觉技术的发展，近年来有越来越多相关的技术被应用于人机交互的情境上，尤其是情感运算。透过自动化的人脸情绪辨识系统，人们的情绪可以更轻易的被理解，使得人们可以透过计算机快速且直接的获取使用者情绪上的反馈，进而提升人机交互的品质。

而在现有的人脸情绪辨识系统中，常见的方法为在捕捉到人脸影像后，对人脸影像抽取低阶特征值，接着再利用机器学习的方式训练出分类器进行情绪类别(如:喜悦，悲伤，惊喜等)辨识。或是透过人脸动作单元(Action Unit)的识别，来描述人脸上的行为，再借由这些动作单元组合的激发程度，来判断人脸情绪的类别。另一方面，人脸情绪很难用几个单一的情绪类别来描述，于是先前的研究将不同的情绪类别投影到一个连续的情绪空间上(如:V-A空间)，借由Valence(评价值)和Arousal(唤起度)这两个座标轴的数值，可以来描述更多的情绪类别。仅管人脸动作单元和情绪空间已经广泛的被利用于人脸情绪识别的任务上，且都能达到不错的效果，但各自仍有些限制。

发明内容

针对现有技术中的缺陷，本发明提供基于多任务学习与深度学习的人脸情绪分析方法及系统，减少分析模型的大小，加快人脸情绪的识别时间，达到更好的识别效果。

一种基于多任务学习与深度学习的人脸情绪分析方法，包括：

训练人脸分析模型步骤：利用卷积神经网络学习人脸库中预设的分析任务的卷积层，得到人脸分析模型；

人脸区域提取步骤：获取待分析人脸图像，利用人脸检测算法对所述待分析人脸图像进行分析，提取待分析人脸图像中人脸区域；

预测步骤：利用所述人脸分析模型对所述待分析人脸图像进行预测，得到所述待分析人脸图像中每个人脸区域对应的情绪信息。

优选地，所述训练人脸分析模型步骤中，所述分析任务包括人脸属性；在学习所述人脸属性的卷积层时，标记待学习人脸属性，根据所述待学习人脸属性在所述人脸区域上对应的人脸部位，捕捉不同人脸部位的特征值，学习得到第一卷积层。

优选地，所述训练人脸分析模型步骤中，所述分析任务包括人脸动作；在学习所述人脸动作的卷积层时，根据不同的人脸动作预设有不同的子动作卷积层，根据所述人脸部位在所述第一卷积层的输出层加入对应的子动作卷积层，学习得到第二卷积层。

优选地，所述训练人脸分析模型步骤中，所述分析任务包括情绪空间；在学习所述情绪空间的卷积层时，根据评价值和唤起度挑选第二卷积层，在挑选完的第二卷积层的输出层加入预设的子情绪卷积层，学习得到第三卷积层。

优选地，所述训练人脸分析模型步骤中，预设有情绪空间数值目标，通过学习所述第三卷积层和预设的全连接层，达到所述情绪空间数值目标，得到所述人脸分析模型。

一种基于多任务学习与深度学习的人脸情绪分析系统，适用于上述基于多任务学习与深度学习的人脸情绪分析方法，包括：

训练人脸分析模块：利用卷积神经网络学习人脸库中预设的分析任务的卷积层，得到人脸分析模型；