[发明专利]一种即时视频中的表情识别方法及装置

说明书

本发明涉及视频技术领域，具体为一种即时视频中的表情识别方法及装置，包括实时表情特征的提取和实时表情特征提取方法的表情的识别，所述实时表情特征的提取包括下列步骤：步骤一，制定基于Kinect的表情特征数据库规范，包括表情表现规范、录制规范及特征文件命名规范；步骤二，收集表情特征数据：运用FaceTracking改编的录制软件从Kinect的实时视频流中追踪人脸并提取运动单元信息即AUs和特征点坐标信息即FPPs。在表情表现者使用后，子存储空间内的数据会逐渐丰富，实现自主学习的功能，随着使用时间的积累，可以逐渐提高识别的准确率，减少了从主存储空间提取数据的量，从而提高识别准确率和识别速度。

技术领域

本发明涉及视频技术领域，具体为一种即时视频中的表情识别方法及装置。

背景技术

随着即时视频应用在移动终端上的普及，使得越来越多的用户通过即时视频应用来实现与他人之间的交互，因此需要一种在即时视频中的表情识别方法，来满足用户在通过即时视频应用来实现与他人之间的交互时的个性化需求，提高交互场景下的用户体验。

现有技术提供一种表情识别方法，该方法具体包括：从预先录制的视频中获取所要识别的当前帧画面，对当前帧画面中的人脸表情进行识别，并对其他帧图像继续执行上述步骤，从而对视频中的视频帧画面中人脸表情进行识别。

但是该方法由于无法实时识别即时视频中的人脸表情，且在实现过程中，由于该方法会大量占用设备的处理资源和存储资源，所以该方法对设备的要求较高，使得该方法无法应用于如智能手机和平板电脑等移动终端，从而无法满足用户的多样化需求，降低了用户体验效果。

发明内容

本部分的目的在于概述本发明的实施方式的一些方面以及简要介绍一些较佳实施方式。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述中存在的问题，提出了本发明。

为解决上述技术问题，根据本发明的一个方面，本发明提供了如下技术方案：

一种即时视频中的表情识别方法，包括实时表情特征的提取和基于实时表情特征提取方法的表情的识别，所述实时表情特征的提取包括下列步骤：

步骤一，制定基于Kinect的表情特征数据库规范，包括表情表现规范、录制规范及特征文件命名规范；

步骤二，收集表情特征数据：运用FaceTracking改编的录制软件从Kinect的实时视频流中追踪人脸并提取运动单元信息即AUs和特征点坐标信息即FPPs，每次记录的数据包括RGB图、AUs和FPPs，具体过程如下：

过程一，预先通过表情表现者，分别记录愤怒、厌恶、害怕、高兴、平静、悲伤以及惊讶7种表情,和5种面部姿态即当前面部与正面人脸的夹角分别为0°,±15°,±30°时的姿态，识别面部特征，更换表情表现者，重复上述的操作，去除重复数据，得到多名表情表现者实验所获得的多组实验数据，数据的形式包括RGB图、AUs和FPPs，这些数据储存到主存储空间。

过程二，记录表情表现者的面部特征，重复记录20遍，并为记录到的面部特征匹配出一个特定的身份信息，每个特定的身份信息均匹配有对应的子存储空间,当识别到新的表情表现者时，在为其匹配一个新的特定的身份信息，同时为该身份形象新建一个新的子存储空间；

过程三，表情表现者将子存储空间内储存的RGB图进行个人评价，当录制的RGB图符合表情表现者的表达意愿，则将RGB图、AUs和FPPs记录下来，否则将RGB图删除；