[发明专利]基于深度图像的唇语交互方法以及唇语交互装置

权利要求书

1.一种基于深度图像的唇语交互方法，其特征在于，所述唇语交互方法包括：

获取目标人体对象的深度图像信息；

从所述深度图像信息中获取所述目标人体对象的唇部区域图像；

从所述嘴唇区域图像提取唇部特征，根据所述唇部特征进行唇语识别；

将所述唇语识别的结果转化成对应的操作指令，并根据所述操作指令进行交互。

2.根据权利要求1所述的唇语交互方法，其特征在于，所述从所述深度图像信息中获取所述目标人体对象的嘴唇区域图像的步骤具体包括：

对所述深度图像信息进行分割得到所述目标人体对象的人脸图像；

从所述人脸图像中获取所述目标人体对象的嘴唇区域图像。

3.根据权利要求2所述的唇语交互方法，其特征在于，所述对所述深度图像信息进行分割得到所述目标人体对象的人脸图像的步骤具体包括：

根据深度特征信息判断所述深度图像信息中是否包括所述目标人体对象的鼻尖；

在所述深度图像信息中包括所述目标人体对象的鼻尖时，检测所述鼻尖两侧是否存在椭圆的人脸轮廓区域；

如果存在所述人脸轮廓区域，获取包括所述鼻尖以及人脸轮廓的区域图像作为所述目标人体对象的人脸图像；

所述从所述人脸图像中获取所述目标人体对象的嘴唇区域图像的步骤包括：

提取所述人脸图像中的所述鼻尖下方的区域作为嘴唇区域图像。

4.根据权利要求3所述的唇语交互方法，其特征在于，所述提取所述人脸图像中的所述鼻尖下方的区域作为嘴唇区域图像的步骤之后还包括：

通过边缘检测或阈值分割的图像处理方法从所述嘴唇区域图像中获取所述目标人体对象的双唇图像。

5.根据权利要求3所述的唇语交互方法，其特征在于，所述从所述嘴唇区域图像中提取唇部特征，并对所述唇部特征进行唇语识别的步骤具体包括：

通过外观轮廓提取方法或轮廓特征提取方法中的至少一种从所述嘴唇区域图像中提取唇部特征；

将所述唇部特征与设定识别模型数据库中的识别信息进行比对，得到所述唇部特征对应的唇语识别结果。

6.根据权利要求1所述的唇语交互方法，其特征在于，所述获取目标人体对象的深度图像信息的步骤具体包括：

通过预先设置的双摄像机同步采集所述目标人体对象的第一图像以及所述目标人体对象的第二图像；

根据所述第一图像和所述第二图像计算得到所述目标人体对象的深度图像信息。

7.根据权利要求1所述的唇语交互方法，其特征在于，所述获取目标人体对象的深度图像信息的步骤具体包括：

通过红外相机获取所述目标人体对象的结构光红外图像，从所述结构光红外图像中获取所述目标人体对象的深度图像信息。

8.根据权利要求1所述的唇语交互方法，其特征在于，所述获取目标人体对象的深度图像信息的步骤具体包括：

向所述目标人体图像所在的目标区域投射红外光；

通过红外相机采集所述红外光反射的光线，根据所述光线的传输时间计算得到所述目标人体图像的深度图像信息。

9.一种基于深度图像的唇语交互装置，其特征在于，所述唇语交互装置包括：深度图像信息获取模块、唇部区域图像确定模块、唇语识别模块以及交互模块，

所述深度图像信息获取模块用于获取目标人体对象的深度图像信息；

所述唇部区域图像确定模块用于从所述深度图像信息中获取所述目标人体对象的唇部区域图像；

所述唇语识别模块用于从所述嘴唇区域图像提取唇部特征，根据所述唇部特征进行唇语识别；

所述交互模块用于将所述唇语识别的结果转化成对应的操作指令，并根据所述操作指令进行交互。

10.根据权利要求9所述的唇语交互装置，其特征在于，所述唇部区域图像确定模块具体用于对所述深度图像信息进行分割得到所述目标人体对象的人脸图像；从所述人脸图像中获取所述目标人体对象的嘴唇区域图像。