[发明专利]一种融合人脸和手势的智能终端人机交互方法

摘要

本发明公开了一种融合人脸和手势的智能终端人机交互方法，属于图像处理技术领域。第一步：根据智能终端摄像头采集到的人脸图像；第二步：对归一化处理得到的人脸图像；第三步：根据智能终端摄像头采集到的手势图像进行手部肤色和背景建模；第四步：对第三步检测到的手势图像。

主权项

一种融合人脸和手势的智能终端人机交互方法，其特征在于：第一步：根据智能终端摄像头采集到的人脸图像，采用灰度投影方法快速定位人眼瞳孔位置，并利用瞳孔距离对人脸图像进行归一化处理；第二步：对归一化处理得到的人脸图像，利用灰度投影法计算面部主要特征的中心坐标，并根据中心坐标划分13个人脸面部感兴趣区域，所述面部主要特征包括眼睛、鼻子、嘴、耳朵的特征；第三步：根据智能终端摄像头采集到的手势图像进行手部肤色和背景建模，利用肤色分割和背景减除方法进行手势检测；第四步：对第三步检测到的手势图像，利用梯度方向直方图方法描述其特征，同时结合主元分析方法构建其特征子空间，然后采用在线机器学习方法将第三步检测到的手势图像分成M类，M设定为10*2类，10*2类区分左右手；第五步：根据第二步定义的13个人脸面部感兴趣区域，结合第四步手势识别分类结果共M类，定义13*M类人脸‑手势基本模式；结合用户眼睛连续闭合次数，定义13*M*N类人脸‑手势扩展模式，N为眼睛连续闭合次数；第六步：根据第五步定义的人脸‑手势基本模式或扩展模式，由用户自定义不同的人机交互操作；13个人脸面部感兴趣区域的实现方法如下：首先利用灰度投影法快速定位人眼瞳孔位置，根据瞳孔距离缩放和切割所有的人脸图像，使所有图像之间的瞳孔位置和面部轮廓大小基本一致；接着再次利用灰度投影法定位面部特征器官的中心坐标，面部特征器官包括眼睛、鼻子、嘴、耳；然后根据中心坐标划分对应的感兴趣区域，具体方式为：首先根据器官在面部的大致位置设定目标区域，为矩形窗，然后计算窗内图像在水平和垂直方向的灰度投影曲线，各曲线上的波谷即对应特征器官的中心点，根据得到的特征器官中心坐标，分割感兴趣区域。