[发明专利]融合深度和灰度图像特征点的头姿估计兴趣点检测方法

说明书

技术领域

本发明涉及数字图像处理及计算机视觉技术领域，具体涉及基于深度与灰度图像融合的头姿估计感兴趣点检测方法。

背景技术

头姿估计是对人体行为进行分析的重要组成部分，它既可以作为结果用于体感游戏、驾驶员疲劳驾驶监视，也可以作为一个预处理过程提高身份认证、面部表情识别准确率。其中，利用头部感兴趣点来分析头姿是头姿估计方向的一个重要分支，并且特征点的准确、快速定位直接决定着头姿估计的精度与速度。然而，由于摄像头本身的分辨率、背景环境的复杂度、光照变化以及肤色等因素的影响，准确快速地检测特征点成为一项极具挑战性的工作。

截至目前，已经有很多种特征点检测的方法被提出。按照特征点检测所依赖的样本进行分类，可分为基于灰度图像的方法和基于深度图像的方法两种。经典的基于灰度图像的方法包括基于投影的眼睛定位方法、基于hough变换的瞳孔定位方法、基于颜色直方图统计方法以及基于模糊C均值的嘴唇分割方法等局部特征点定位方法，以及主动形状模型（ASM）、主动表观模型（AAM）等全局特征点定位方法。此外，一些基于分类学习方法，如人工神经网络、PCA以及SVM等也可用于特征点的筛选定位。基于深度图像的主流特征点定位算法有基于距离统计、高斯曲率计算、形状标签法等方法，用于定位鼻尖、鼻鞍等几何形状突出的特征点。虽然上述这些方法在一些样本中取得了不错的特征点检测效果，但是由于两种数据所固有缺点（灰度图像很容易受到光照变化、复杂背景以及遮挡等的影响，而深度图像对噪声特别敏感），很难只依赖其中一种数据进行训练而完成准确、快速、泛化能力强的特征点检测，故亟需提出更加鲁棒的特征点检测算法以改善头姿估计效果。

发明内容

本发明的目的在于提供一种基于深度与灰度图像融合的头姿估计感兴趣点检测方法，将基于深度图像检测到的特征点与基于灰度图像检测到的特征点相结合，最终形成一些定位准确、鲁棒性强的特征点，有效解决现有算法中存在的特征点检测结果不准确、鲁棒性差等造成因误差累计头姿估计准确率低的问题。

为了实现上述目的，本发明采用以下技术方案：基于人脸深度图像各点与邻域点之间的深度差异性，利用所定义的深度Harr特征模板对所获取的人脸深度图像进行特征提取，然后利用Adaboost算法训练级联分类器，筛选出鼻尖、鼻鞍、左右耳垂等特征点；基于人脸灰度图像中眼睛与周围相邻区域灰度值的差异，对其提取Haar-like特征，然后利用Adaboost算法训练级联分类器，筛选出特征点眼睛。最后将人脸深度图像与灰度图像对齐，即可完成对人脸左右眼睛、鼻尖、鼻鞍、左右耳垂等特征点的检测。

一种基于深度与灰度图像融合的头姿估计感兴趣点检测方法，包括以下步骤：

步骤1，提取深度图像特征点。

步骤1.1，输入人脸深度图像。

步骤1.2，手工标定鼻尖、鼻鞍以及耳垂等特征点的训练样本。

步骤1.3，计算已标定样本的深度Harr-like特征。

步骤1.4，训练Adaboost分类器。

步骤2，提取灰度图像特征点。

步骤2.1，输入人脸灰度图像。

步骤2.2，标定瞳孔中心。

步骤2.3，计算已标定样本的Harr-like特征。

步骤2.4，训练Adaboost分类器。

步骤3，集成深度图像与灰度图像所提取的特征点。

步骤3.1，利用训练好的2个Adaboost分类器分别对输入的人脸深度图像和灰度图像进行特征点检测。

步骤3.2，对齐深度图像与灰度图像，确定左右眼睛、鼻尖、鼻鞍、左右耳垂等感兴趣点。

与现有技术相比，本发明具有以下明显优势：

本发明利用头部感兴趣点所具有的深度数据分布特性，提出一种在深度图像中对计算所得的Haar-like特征值进行修正的计算模式，实现特征点的检测，充分继承了深度与灰度图像的不同特征点检测的优势，即深度图像不受光照变化以及复杂背景的影响，而灰度图像便于瞳孔检测，最大程度地、快速地检测到深度图像中表面变化大的特征点以及灰度图像中灰度分布特征显著的瞳孔区域，尤其是提取的特征具有一定的空间旋转不变性，在大角度旋转情形下也能逼近人脸特征点真值，提高了最终的特征点检测精度，缩短了检测时间。

附图说明

图1为本发明所涉及方法的流程图；

图2为本发明对深度图像进行特征提取的模板示意图；

图3为本发明进行特征点标定以后的深度图像正、反训练样本图；

图4为本发明进行特征点标定以后的灰度图像正、反训练样本图。