[发明专利]一种即时视频中的表情识别方法及装置

摘要

本发明涉及视频技术领域，具体为一种即时视频中的表情识别方法及装置，包括实时表情特征的提取和实时表情特征提取方法的表情的识别，所述实时表情特征的提取包括下列步骤：步骤一，制定基于Kinect的表情特征数据库规范，包括表情表现规范、录制规范及特征文件命名规范；步骤二，收集表情特征数据：运用FaceTracking改编的录制软件从Kinect的实时视频流中追踪人脸并提取运动单元信息即AUs和特征点坐标信息即FPPs。在表情表现者使用后，子存储空间内的数据会逐渐丰富，实现自主学习的功能，随着使用时间的积累，可以逐渐提高识别的准确率，减少了从主存储空间提取数据的量，从而提高识别准确率和识别速度。

主权项

1.一种即时视频中的表情识别方法，包括实时表情特征的提取和实时表情特征提取方法的表情的识别，其特征在于，所述实时表情特征的提取包括下列步骤：步骤一，制定基于Kinect的表情特征数据库规范，包括表情表现规范、录制规范及特征文件命名规范；步骤二，收集表情特征数据：运用FaceTracking改编的录制软件从Kinect的实时视频流中追踪人脸并提取运动单元信息即AUs和特征点坐标信息即FPPs，每次记录的数据包括RGB图、AUs和FPPs，具体过程如下：过程一，预先通过表情表现者，分别记录愤怒、厌恶、害怕、高兴、平静、悲伤以及惊讶7种表情,和5种面部姿态即当前面部与正面人脸的夹角分别为0°,±15°,±30°时的姿态，识别面部特征，更换表情表现者，重复上述的操作，去除重复数据，得到多名表情表现者实验所获得的多组实验数据，数据的形式包括RGB图、AUs和FPPs，这些数据储存到主存储空间。过程二，记录表情表现者的面部特征，重复记录20遍，并为记录到的面部特征匹配出一个特定的身份信息，每个特定的身份信息均匹配有对应的子存储空间,当识别到新的表情表现者时，在为其匹配一个新的特定的身份信息，同时为该身份形象新建一个新的子存储空间；过程三，表情表现者将子存储空间内储存的RGB图进行个人评价，当录制的RGB图符合表情表现者的表达意愿，则将RGB图、AUs和FPPs记录下来，否则将RGB图删除；步骤三，表情有效性评测，即有区别于表情表现者至少10名测评者对过程四中得到的数据组中的RGB图进行主观测评实验，如测评者肯定RGB图表现的有效性，则认为提取的AUs和FPPs是有效的；选取与表情最为相关的特征点，得到45个关于眼睛、眉毛和嘴部的3D特征点，每个特征点坐标表示为(X,Y,Z)，从每帧图像中提取的FPPs表示为一个135维向量。