[发明专利]一种基于光流、图像、运动对抗生成网络提高焦虑、抑郁、愤怒表情识别正确率的方法

说明书

本发明涉及一种基于光流、图像、运动对抗生成网络提高焦虑、抑郁、愤怒表情识别正确率的方法，设计了两个生成器，三个判别器，生成器包括图像生成器和运动生成器，判别器包括图像判别器、运动判别器和光流判别器，运动生成器生成运动特征向量，图片生成器生成表情序列，图像判别器判断生成视频图片内容的真假，运动判别器判别生成视频运动轨迹的是否符合运动规律，光流判别器判定生成的视频是否符合焦虑、抑郁、愤怒表情的光流变化规律，使生成视频的脸部运动更加连贯和真实，判别器将判别的结果返回图像生成器，生成器修改生成的视频使判别器的结果更好，通过多次迭代，生成以假乱真的表情视频片，提高了视频的分辨率和真实度，鲁棒性高。

技术领域

本发明属于模式识别以及计算机视觉技术领域，具体涉及到一种基于光流、图像、运动对抗生成网络提高焦虑、抑郁、愤怒表情识别正确率的方法。

背景技术

近年来，随着大数据、图形计算硬件等技术条件的发展，深度学习模型受到越来越多的关注，尤其是生成对抗网络(GAN)，它以无监督方式学习目标分布，在多种应用中展示了巨大的潜力。随着图像生成的稳步进展，视频生成问题也成为了人们研究的重点。尽管生成视频只比生成图像扩展了一个维度，但是通常被认为更加困难。首先，由于视频是执行各种动作对象的视觉信息的时空记录，生成模型除了学习它们的外观模型之外还需要学习其物理运动模型。其次，人类对视频更加敏感，对生成视频中运动的连贯性和真实性都要求更高。

焦虑、抑郁、愤怒是一组AU单元相似很难分辨的表情。抑郁是一种持久的心境低落状态，抑郁症患者的情绪主要为蔑视、厌恶以及悲伤，面部表情经常会出现皱眉，嘟嘴等动作；焦虑是一种无明确客观对象下紧张担心的心理状态，焦虑症患者会莫名紧张、恐惧，经常出现皱眉，抿嘴等面部动作。除了抑郁、焦虑，愤怒是人们六种基本情绪之一，也是另外一种更为负面的情绪，人们在愤怒的时候多会皱眉同时瞪眼。AU单元是面部行为编码系统，通常我们采用AU单元来标识情绪。通常焦虑表现为AU4+AU14，即皱眉并抿嘴，抑郁表现为AU10+AU17，即皱鼻并嘟嘴，愤怒表现为 AU4+AU5，即皱眉并瞪眼，AU4是指皱眉，AU14是指抿嘴，AU10是指皱鼻，AU17是指嘟嘴，AU5是指瞪眼，这三类情绪通常交杂出现，十分相似，非专业人士很难分辨。近年来，人们更多的采用特征提取的方法对焦虑、抑郁、愤怒进行分类，因为这三种表情AU单元相似很难分辨，所以识别率较低。

基于对抗生成网络视频生成的研究近几年吸引了大量研究者的研究兴趣。2017年，Sergey Tulyakov等人发表了一种分解运动和内容的视频生成方法，将一系列随机向量映射到一系列帧。他们的框架将视频分解为内容子空间和运动子空间，使得视频生成过程更加可控。但是，该模型是无监督的，生成的视频不能帮助视频的分类，同年，Yunjey Choi等人发表了StarGAN，用于多域图像到图像转换的生成对抗网络，但是，该网络生成的是几张图片，在动作上不是连续的。2018 年，Dinesh Acharya等人提出了VideoGAN，将场景的前景与背景分解开，该模型适用于简单微小的运动场景。但是，这些方法针对AU单元相似的焦虑、抑郁、愤怒表情的生成都有一定的缺点，所以需要更高的分辨率和更加细致的物理运动模型。

发明内容

针对目前传统方法和深度学习算法对AU单元相似的焦虑、抑郁、愤怒表情识别率较低的难题，本发明提出了一种基于光流、图像、运动对抗生成网络提高焦虑、抑郁、愤怒表情识别正确率的方法。