[发明专利]融合深度和灰度图像特征点的头姿估计兴趣点检测方法

摘要

本发明涉及一种融合深度和灰度图像特征点的头姿估计兴趣点检测方法，包括提取深度图像的特征点，提取灰度图像特征点，融合深度图像特征点与灰度图像特征点。本发明将基于深度图像检测到的特征点与基于灰度图像检测到的特征点相结合，形成一些定位准确、鲁棒性强的特征点，继承了深度与灰度图像的不同特征点检测的优势，能够最大程度地、快速地检测深度图像中表面变化大的特征点以及灰度图像中灰度值较大的瞳孔区域，尤其是提出了一种在深度图像中对计算所得的Haar‑like特征值进行修正的计算模式，最终提取的特征具有一定的空间旋转不变性，在大角度旋转情形下也能逼近人脸特征点真值，提高了最终的特征点检测精度，缩短了检测时间。

主权项

融合深度和灰度图像特征点的头姿估计兴趣点检测方法，其特征在于：提出一种在深度图像中对计算所得的Haar‑like特征值进行修正的计算模式；将基于深度图像检测到的特征点与基于灰度图像检测到的特征点相结合，解决现有算法中存在的特征点检测结果不准确、鲁棒性差、速度慢以及泛化能力弱的问题；所述方法包括以下步骤：步骤1，提取深度图像的特征点；步骤1.1，输入人脸深度图像；所述深度图像为单通道图像，是从深度摄像机采集的人脸深度数据转变而来；对于一张人脸深度数据，首先计算深度数据的最大值、最小值以及均值，然后将深度数据归一化并放大到0～255，将全部深度数据转化为三个深度值和一幅深度图像；最大深度公式、最小深度公式以及平均深度公式及深度数据归一化公式如下： maxDepthValue＝Max(depth(pixel(i)))； minDepthValue＝Min(depth(pixel(i)))；averageDepth=1nΣi=1ndepth(pixel(i));]]>pixelValue(i)=depth(pixel(i))-minDepthValuemaxDepthValue-minDepthValue×255]]>其中，i＝1,2,...,n，n为所有有效像素的数量；depth(pixel(i))表示深度数据中第i个像素处的深度值，maxDepthValue、minDepthValue以及averageDepth分别表示n个深度数据中最大深度、最小深度以及平均深度值；pixelValue表示该i点原始深度数据值在归一化后对应得到的可视深度图像值；步骤1.2，手工标定鼻尖、鼻鞍以及耳垂特征点；对于步骤1.1得到的深度图像，标定出鼻尖、鼻鞍以及左右耳垂这些特征点，然后以每个特征点为中心进行图像切割，得到固定大小的特征点正例样本，样本大小一般取24*24；选择不同人、不同距离以及不同角度下的头部特征点进行标定，将大量的标定样本构成正训练样本；同时，选择大量的非待检测特征点样本作为负训练样本；负训练样本中的感兴趣特征点不位于样本几何中心；步骤1.3，计算已标定样本的深度Harr‑like特征；使用6种不同模板类型分别对已标定的深度图像进行特征提取，获取每类图像中的所有特征；特征值计算公式为：其中，value为特征值，n表示模板中黑色矩形框的个数，θ表示模板区域源图像沿x轴的旋转角度，表示模板区域源图像沿y轴的旋转角度；对于灰度图像，θ与均取0；对于深度图像，不同类型的模板，θ和的值也不同，分别等于模板沿横轴和纵轴两端区域像素和之差的绝对值与两端之间表示的实际距离之比的反正切值；步骤1.4，训练Adaboost分类器；对于步骤1.3中得到的特征，训练一系列弱分类器，然后按照权重级联为一个强分类器；步骤2，提取灰度图像特征点；步骤2.1，输入人脸灰度图像；所述的灰度图像为单通道图像，这里的灰度图像可以由彩色图像转变而来，也可以直接选择彩色图像的任一通道，其中每个像素点取值范围为0‑255；步骤2.2，标定瞳孔中心；对于步骤2.1得到的灰度图像，标定出瞳孔的中心位置，然后按照与步骤1.2相同的方法进行正负训练样本的制作；步骤2.3，计算已标定样本的深度Harr‑like特征；利用前述6种模板类型对步骤2.2的正负样本进行Haar‑like特征提取；步骤2.4，训练Adaboost分类器；方法与步骤1.4相同；步骤3，集成深度图像与灰度图像所提取的特征点；步骤3.1，利用训练好的2个Adaboost分类器分别对输入的人脸深度图像和灰度图像进行特征点检测；输入2张同一时刻采集的深度图像和灰度图像，分别提取特征并利用Adaboost进行分类，然后利用K‑近邻聚类算法进行聚类，聚类中心即为检测到的头姿估计兴趣点；步骤3.2，对齐深度图像与灰度图像，确定左右眼睛、鼻尖、鼻鞍、左右耳垂感兴趣点。