[发明专利]一种基于光流、图像、运动对抗生成网络提高焦虑、抑郁、愤怒表情识别正确率的方法

摘要

本发明涉及一种基于光流、图像、运动对抗生成网络提高焦虑、抑郁、愤怒表情识别正确率的方法，设计了两个生成器，三个判别器，生成器包括图像生成器和运动生成器，判别器包括图像判别器、运动判别器和光流判别器，运动生成器生成运动特征向量，图片生成器生成表情序列，图像判别器判断生成视频图片内容的真假，运动判别器判别生成视频运动轨迹的是否符合运动规律，光流判别器判定生成的视频是否符合焦虑、抑郁、愤怒表情的光流变化规律，使生成视频的脸部运动更加连贯和真实，判别器将判别的结果返回图像生成器，生成器修改生成的视频使判别器的结果更好，通过多次迭代，生成以假乱真的表情视频片，提高了视频的分辨率和真实度，鲁棒性高。

主权项

1.一种基于光流、图像、运动对抗生成网络提高焦虑、抑郁、愤怒表情识别正确率的方法，其特征在于，该方法运行于两个生成器及三个判别器上，两个生成器包括图像生成器和运动生成器，三个判别器包括图像判别器、运动判别器和光流判别器，运动生成器用于生成运动特征向量，图像生成器用于生成表情序列，图像判别器用于判断生成视频图片内容的真假，运动判别器用于判别生成的视频运动轨迹是否符合运动规律，光流判别器用于通过真假视频的光流差别判定生成的视频是否符合焦虑、抑郁、愤怒表情的光流变化规律，使生成视频的脸部运动更加连贯和真实，图像判别器的损失函数和光流判别器的损失函数的判别结果返回至图像生成器，运动判别器的损失函数的判别结果返回至运动生成器，运动生成器和图像生成器通过损失函数的结果修改生成的视频使图像判别器、运动判别器和光流判别器的结果更优，通过多次迭代，生成表情视频片，包括步骤如下：A、生成阶段(1)随机产生一个张量作为噪声，输入运动生成器，通过GRU网络输出维度为帧数*60的运动特征张量，将运动特征张量输入图像生成器，通过反卷积网络输出有标签的焦虑、抑郁、愤怒表情的图像序列；(2)将SDU表情数据库中的焦虑、抑郁和愤怒的表情序列和步骤(1)输出的图像序列，通过稠密光流的方法求出光流图像序列；(3)将步骤(1)生成的有标签的焦虑、抑郁、愤怒表情的图像序列和随机在SDU表情数据库中抽取的真实的表情视频输入图像判别器，通过卷积网络输出判断生成视频图片内容的概率分布，最小化图像生成器的损失函数，最大化图像判别器的损失函数，更新卷积网络，使生成的表情序列更贴近真实的表情序列的图像；(4)将步骤(1)生成的有标签的焦虑、抑郁、愤怒表情的图像序列和一个随机在SDU表情数据库中抽取的同一个标签的真实的表情视频输入运动判别器，通过卷积网络输出判断符合表情运动规律的概率分布，最小化运动生成器的损失函数，最大化运动判别器的损失函数，更新卷积网络，使生成的表情序列更贴近真实的表情序列的运动规律；(5)将步骤(2)生成的光流图像序列和一个随机在SDU表情数据库中抽取的同一个标签的真实的表情视频输入光流判别器，通过卷积网络输出判断符合光流变化规律的概率分布；求KL散度的值，针对光流判别器最大化KL散度损失函数，更新卷积网络，使生成的表情序列更贴近真实的表情序列的运动规律；(6)将步骤(4)、(5)的结果汇总，返回至图像生成器，将步骤(3)的结果返回至运动生成器，调整图像生成器与运动生成器的参数，通过多次迭代，生成真实的表情视频；B、识别阶段将通过多次迭代后步骤(1)生成的有标签的焦虑、抑郁、愤怒表情的图像序列作为数据增强的样本，输入并训练表情识别网络中，表情识别网络为ResNet+ConvLSTM网络或者加入注意力机制的ResNet+ConvLSTM网络。