[发明专利]一种获取嘴部状态的方法及电子设备

说明书

技术领域

本发明涉及计算机技术领域，特别涉及一种获取嘴部状态的方法及电子设备。

背景技术

目前在对视频中人脸嘴部的状态进行识别判断时，要么是通过图像处理的方式来对视频中人脸嘴部的状态进行识别判断，要么是通过对视频中的声音信息进行识别来判断人脸嘴部的状态；图像处理的方式在人脸嘴部的开闭幅度变化很小时判断精度不高，很容易出现误判；而单纯通过声音信息来识别判断人脸嘴部的状态容易收到噪声等外部环境的干扰，因此需要提供一种方法能够将二者的优势结合起来，同时又能避免二者各自的缺陷。

发明内容

为了解决上述问题，本发明提供一种获取嘴部状态的方法及电子设备。

所述技术方案如下：

第一方面，提供了一种获取嘴部状态的方法，所述方法包括：

获取视频帧中人脸嘴部的关键特征点；

判断所述嘴部状态；

如果所述嘴部状态为闭合，则分析所述视频帧对应的声音片段的特征，

并根据所述声音片段的特征对所述嘴部状态进行修正。

结合第一方面，在第一种可能的实现方式中，所述判断所述嘴部状态包括：

获取所述关键特征点中上嘴唇对应的关键特征点；

获取所述关键特征点中下嘴唇对应的关键特征点；

获取所述上嘴唇对应的关键特征点和下嘴唇对应的关键特征点之间的距离；

如果所述距离小于预设值，则判定所述嘴部状态为闭合，否则，判断所述嘴部状态为开启。

结合第一方面，在第二种可能的实现方式中，所述如果所述嘴部状态为闭合，则分析所述视频帧对应的声音片段的特征，并根据所述声音片段的特征对所述嘴部状态进行修正包括：

获取所述视频帧对应的声音片段的特征；

根据所述声音片段的特征获取所述嘴部状态；

如果根据所述声音片段的特征获取的所述嘴部状态为开启，则更改所述嘴部状态为开启。

结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述根据所述声音片段的特征获取所述嘴部状态包括：

根据所述声音片段的特征与预设的模型，获取所述声音片段的特征对应的嘴部状态。

第二方面，提供了一种电子设备，所述电子设备包括：

获取模块，用于获取视频帧中人脸嘴部的关键特征点；

判断模块，用于判断所述嘴部状态；

修正模块，用于：如果所述嘴部状态为闭合，则分析所述视频帧对应的声音片段的特征，并根据所述声音片段的特征对所述嘴部状态进行修正。

结合第二方面，在第一种可能的实现方式中，所述获取模块具体用于：

获取所述关键特征点中上嘴唇对应的关键特征点；

获取所述关键特征点中下嘴唇对应的关键特征点；

获取所述上嘴唇对应的关键特征点和下嘴唇对应的关键特征点之间的距离。

结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述判断模块具体用于：

如果所述距离小于预设值，则判定所述嘴部状态为闭合，否则，判断所述嘴部状态为开启。

结合第二方面，在第三种可能的实现方式中，所述修正模块具体用于：

获取所述视频帧对应的声音片段的特征；

根据所述声音片段的特征获取所述嘴部状态；

如果根据所述声音片段的特征获取的所述嘴部状态为开启，则更改所述嘴部状态为开启。

结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，所述修正模块还用于：

根据所述声音片段的特征与预设的模型，获取所述声音片段的特征对应的嘴部状态。

第三方面，提供了一种电子设备，所述设备包括存储器以及与所述存储器连接的处理器，其中，所述存储器用于存储一组程序代码，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：

获取视频帧中人脸嘴部的关键特征点；

判断所述嘴部状态；

如果所述嘴部状态为闭合，则分析所述视频帧对应的声音片段的特征，

并根据所述声音片段的特征对所述嘴部状态进行修正。

结合第三方面，在第一种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：

获取所述关键特征点中上嘴唇对应的关键特征点；

获取所述关键特征点中下嘴唇对应的关键特征点；

获取所述上嘴唇对应的关键特征点和下嘴唇对应的关键特征点之间的距离；