[发明专利]基于深度相机近红外单色灰度图的皮肤识别方法

说明书

本发明公开了一种基于深度相机近红外单色灰度图的皮肤识别方法，先标注出人脸；动态跟踪脸部特征点；分离人脸与背景，抠去背景，保留人脸区域的像素；根据人脸区域边缘像素平面位置以及脸部特征点像素平面位置，获取感兴趣区域；计算感兴趣区域中的像素平面位置所对应的彩色图片像素位置，得到映射像素；运用彩色图片皮肤识别算法判别映射像素是否为人体皮肤像素，并记录判别为非人体皮肤的映射像素；从感兴趣区域中剔除对应映射像素为非人体皮肤的像素。本发明充分利用深度相机的硬件特性，通过融合彩色帧、景深帧和近红外帧，解决了近红外帧的皮肤识别问题，有效发挥近红外成像不受环境光强影响的优势，信噪比有明显提高。

技术领域

本发明属于计算机图像和视觉领域，具体涉及一种近红外灰度图片中识别人体皮肤的方法。

背景技术

目前，基于非接触式的人体体征特征信号检测，例如心跳测量是学术界和工业界的科技研究的方向之一。通过非接触式获取人体心跳在医疗、金融和交通等领域有广泛的业务需求和商业价值。

非接触式的心跳测量，在技术上可以使用基于彩色RGB摄像头通过拍摄目标用户的皮肤露出部分来提取，拍摄部位通常为人脸。彩色摄像头对环境光变化敏感，故对拍摄环境光有较高要求。近年来，深度相机日渐普及，陆续作为手机前置摄像头使用。深度相机通常包含的近红外摄像头，也可以捕捉心跳信号，同时红外摄像头不受环境光影响，对拍摄环境要求较低，所以接收光强稳定，克服了彩色摄像头的缺点。

但是，使用近红外摄像头捕捉心跳信号存在其他技术难度：1）人体对红外光谱的吸收率远低于可见光，因此，红外摄像头捕捉的光线强度远低于彩色摄像头，导致其时序信号信噪较低；2）近红外成像形式为单色灰度图，无彩色信息，因此如何判断拍摄图像中像素为皮肤，是提升心跳检测整体算法精度的重要技术必要细节。

单色灰度图中有效识别人体皮肤像素是机器视觉技术的一个难题。灰度图无颜色信息可以利用，灰度图捕捉的光源为近红外光，光源单一且不同摄像头由不同硬件制造商生产，所使用的近红外光谱波长差异较大，比如有的摄像头利用810nm近红外波长成像，而另一些则使用940nm波长，这些不确定性进一步增加了皮肤识别算法的技术难度。同时，由于无法识别皮肤，基于近红外图像监测心跳的算法受到的噪声干扰加大，使之不能有效发挥近红外成像不受环境光影响的优势。

针对基于近红外图像的心跳检测应用，其常规做法是在近红外图片中捕捉到人脸以后，通过计算人脸区域（通常是长方形区域或椭圆区域）中各个像素的强度平均值，生成时间序列信号进一步分析。这种计算方式由于没有区分和剔除非皮肤像素，由此产生的信号噪声无法在后期去除，同时，引入的噪声将进一步恶化红外摄像头本就不高的信噪比。

彩色图像下皮肤的判别技术上相对成熟，而单色灰度图像下皮肤识别目前还没有成熟有效的技术方案。综上所述，如何充分利用彩色图像和近红外图像各自优势，成为使用深度相机捕捉心跳信号的技术障碍之一。

发明内容

发明目的：为了解决现有技术近红外图像下皮肤识别的技术难点，本发明提供一种基于深度相机近红外单色灰度图的皮肤识别方法。

技术方案：一种基于深度相机近红外单色灰度图的皮肤识别方法，包括以下步骤：

（1）在红外图片中自动识别人脸，并标注框图；

（2）在框图中识别脸部特征点，动态跟踪识别的脸部特征点像素平面位置；

（3）计算景深帧与近红外图片像素映射关系，根据景深帧含有的每个像素的景深距离的大小分离人脸与背景，抠去背景，仅保留人脸区域的像素；

（4）提取人脸区域边缘像素平面位置，根据人脸区域边缘像素平面位置以及脸部特征点像素平面位置，获取感兴趣区域；

（5）计算感兴趣区域中的像素平面位置所对应的彩色图片像素位置，得到映射像素；