[发明专利]基于唇语的交互方法以及交互装置

摘要

本发明公开了一种基于唇语的交互方法以及交互装置，所述交互方法包括：获取目标人体对象的深度图像、红外图像以及彩色图像；分别从深度图像、红外图像以及彩色图像中获取目标人体对象的唇部区域图像；从唇部区域图像提取唇部特征，并将从深度图像、红外图像以及所述彩色图像中提取的唇部特征融合处理后进行唇语识别；将唇语识别的结果转化成对应的操作指令，并根据操作指令进行交互。通过上述方式，相对于传统直接通过彩色相机获取图像信息的方式，不容易受到环境如光线强弱的影响，能够有效提高图像识别的命中率，提高唇语识别的命中率，进一步地提高了唇语识别的命中率，最终可有效改善交互的执行率和操作准确率。

主权项

1.一种基于唇语的交互方法，其特征在于，所述交互方法包括：获取目标人体对象的深度图像、红外图像以及彩色图像；分别从所述深度图像、红外图像以及彩色图像中获取所述目标人体对象的唇部区域图像，其中，所述分别从所述深度图像、红外图像以及彩色图像中获取所述目标人体对象的唇部区域图像的步骤包括：根据深度特征信息判断所述深度图像信息中是否包括所述目标人体对象的鼻尖；在所述深度图像信息中包括所述目标人体对象的鼻尖时，检测所述鼻尖两侧是否存在椭圆的人脸轮廓区域；如果存在所述人脸轮廓区域，获取包括所述鼻尖以及人脸轮廓的区域图像作为所述深度图像中所述目标人体对象的人脸图像；根据所述深度图像与所述红外图像的位置对应关系，提取所述红外图像与所述深度图像中人脸图像对应位置的区域图像，作为所述红外图像中所述目标人体对象的人脸图像；根据所述深度图像与所述彩色图像的位置对应关系，提取所述彩色图像与所述深度图像中人脸图像对应位置的区域图像，作为所述彩色图像中所述目标人体对象的人脸图像；从三种所述人脸图像中分别获取所述目标人体对象的唇部区域图像；从所述唇部区域图像提取唇部特征，并将从所述深度图像、所述红外图像以及所述彩色图像中提取的所述唇部特征融合处理后进行唇语识别；将所述唇语识别的结果转化成对应的操作指令，并根据所述操作指令进行交互。