[发明专利]人脸表情的捕捉方法、装置及存储装置

说明书

技术领域

本发明涉及RGBD图像处理技术领域，特别是涉及一种人脸表情的捕捉方法、装置及存储装置。

背景技术

RGBD图像由RGBD相机拍摄场景而获得，是指深度信息与彩色信息融合的图像，每个图像元素均具有相关联的颜色值和相关联的深度值，该深度值表示从图像传感器到场景中的物体表面的距离。

表情是情绪和情感的外部表现，按基本情绪模型可将表情分为六类：生气、厌恶、恐惧、高兴、悲伤、惊讶。人脸表情识别一直以来都具非常重要的研究意义，在人机交互、公共安全、智能影视等多个领域有着巨大的市场价值。

对现有技术的研究和实践过程中，本发明的发明人发现仅从RGB图像中获取的人脸表情信息并不能全面、准确地反应出人脸的真实表情。

发明内容

本发明提供一种人脸表情的捕捉方法、装置及存储装置，能够解决现有技术存在不能全面、准确反应出人脸的真实表情的问题。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种人脸表情的捕捉方法，该方法包括：获取包含人脸的RGBD图像序列，所述RGBD图像包括RGB图像和深度图像，其中，所述RGB图像和深度图像的像素一一对应；对所述RGBD图像进行人脸检测，以提取出人脸区域的RGBD图像；从所述人脸区域的RGBD图像中获取人脸特征点；标记所述人脸特征点在所述人脸区域的RGBD图像上的位置；在所述RGBD图像序列中跟踪所述人脸特征点的运动轨迹，并记录运动轨迹信息。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种人脸表情的捕捉装置，该装置包括处理器和RGBD相机，所述RGBD相机与所述处理器连接；所述RGBD相机用于获取包含人脸的RGBD图像序列，所述RGBD图像包括RGB图像和深度图像，其中，所述RGB图像和深度图像的像素一一对应；所述处理器用于对所述RGBD图像进行人脸检测，以提取出人脸区域的RGBD图像；从所述人脸区域的RGBD图像中获取人脸特征点；标记所述人脸特征点在所述人脸区域的RGBD图像上的位置；在所述RGBD图像序列中跟踪所述人脸特征点的运动轨迹，并记录运动轨迹信息。。

为解决上述技术问题，本发明采用的又一个技术方案是：提供一种存储装置，该存储装置存储有程序数据，所述程序数据能够被执行以实现上述方法。

本发明的有益效果是：区别于现有技术的情况，本发明通过RGBD图像序列提取人脸特征点并记录该人脸特征点的运动轨迹，由于RGBD图像具有像素信息和深度信息，因而该人脸特征点及其运动轨迹信息也能全面地从像素信息和深度信息上反映出来，使得捕捉的表情信息更加全面、准确。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种人脸表情的捕捉方法实施例的流程示意图；

图2是本发明提供的一种人脸表情的捕捉方法另一实施例的流程示意图；

图3是图2中步骤S25的流程示意图；

图4是本发明提供的一种人脸表情的捕捉方法又一实施例的流程示意图；

图5是本发明提供的一种人脸表情的捕捉装置实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，图1是本发明提供的一种人脸表情的捕捉方法实施例的流程示意图。

图1所示的人脸表情的捕捉方法包括以下步骤：

S11、获取包含人脸的RGBD图像序列，RGBD图像包括RGB图像和深度图像，其中，RGB图像和深度图像的像素一一对应。

其中，RGBD图像序列是指特定时间内连续帧的RGBD图像，可以由RGBD拍摄设备获取。

S12、对RGBD图像进行人脸检测，以提取出人脸区域的RGBD图像。

步骤S12中的RGBD图像可以是步骤S11中RGBD图像序列中的任一RGBD图像，例如RGBD图像序列中的第一个RGBD图像。人脸区域可以只从其中一个RGBD图像中提取即可。

S13、从人脸区域的RGBD图像中获取人脸特征点。