[发明专利]一种基于用户表情的人机交互方法、电子设备及存储介质

说明书

本发明公开了一种基于用户表情的人机交互方法，包括以下步骤：图像获取步骤：获取拍摄到的视频，所述视频包括多帧视频图像，对其视频图像进行亮度均衡处理；第一关键点提取步骤：获取均衡处理后视频图像中的人脸区域，并提取人脸区域中的关键点；表情获取步骤：根据提取的关键点的位置变化以得用户表情状态；交互步骤：根据用户的表情状态播放相应的声音或者视频。本发明还提供了一种电子设备以及计算机可读存储介质。本发明的基于用户表情的人机交互方法，其通过分析面部关键器官的关键点位置信息估算对应表情相似度，然后得到最终的表情识别结果，然后根据相应的表情识别结果以播放相应的声音或者视频，增加更多的人机交互方式。

技术领域

本发明涉及一种图像识别技术领域，尤其涉及一种基于用户表情的人机交互方法、电子设备及存储介质。

背景技术

目前，表情识别是研究和应用比较广泛的人机交互应用技术，主要涉及正常(Neutral)，快乐(Happy)，惊讶(Surprise)，愤怒(Angry)，厌恶(Disgust)，恐惧(Fear)和悲伤(Sad)等几种表情的识别。通过分析面部多块肌肉组合，得到最终的面部表情。从1978年开始，开发面部运动编码系统FACS(Facial Action Coding System)，描述面部表情和研究人类的认知行为。根据人脸解剖学的特点，将其划分成大约46个既相互独立又相互联系的运动单元(AU)，并分析这些运动单元的运动特征及其所控制的主要区域以及与之相关的表情。目前流行的表情识别技术主要应用在表情分析、行为分析，并没有关于表情识别与机器进行智能交互的产品。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种基于用户表情的人机交互方法，其能解决基于用户表情的人机交互的问题。

本发明的目的之二在于提供一种电子设备，其能解决基于用户表情的人机交互的问题。

本发明的目的之三在于提供一种计算机可读存储介质，其能解决基于用户表情的人机交互的问题。

本发明的目的之一采用如下技术方案实现：

一种基于用户表情的人机交互方法，包括以下步骤：

图像获取步骤：获取拍摄到的视频，所述视频包括多帧视频图像，对其视频图像进行亮度均衡处理；

第一关键点提取步骤：获取均衡处理后视频图像中的人脸区域，并提取人脸区域中的关键点；

表情获取步骤：根据提取的关键点的位置变化以得用户表情状态；

交互步骤：根据用户的表情状态播放相应的声音或者视频。

进一步地，在表情获取步骤之后还包括模型输出步骤：将获取到的关键点加载人脸candide模型，并将用户表情状态输出至candide模型上。

进一步地，所述亮度均衡处理包括以下步骤：

将获取到的图像从BGR空间中转换到YCbCr空间；

对空间转换后的亮度通道Y进行直方均衡化。

进一步地，所述第一关键点提取步骤具体包括以下子步骤：

人脸获取步骤：获取均衡处理后视频图像中的人脸区域；

空间转换步骤：将人脸区域转换到HSV空间，并设置各个通道的肤色区间；

反向投影步骤：分析人脸区域，并分离出H通道，计算反向投影图；

人脸定位步骤：采用camshift原理提取当前视频帧的人脸区域定位；

矩形跟踪步骤：提取该区域的最小面积的外接矩形；

第二关键点提取步骤：提取外接矩形中的关键点。