[发明专利]一种基于TOF摄像模组的人脸识别方法及装置

说明书

本发明提出一种基于TOF摄像模组的人脸识别方法及装置，所述人脸识别方法包括：使用TOF摄像模组获取被测人脸的彩色图像和对应的双通道深度图像；先对双通道深度图像进行预处理，然后判断被测人脸所处的天气状况；对双通道深度图像进行去噪；将双通道深度图像进行插值补齐处理，得到五通道深度图像；采集双通道深度图像中的人脸关键点，将五通道深度图像进行人脸矫正；根据判定的天气情况，进行不同的特征提取和人脸识别操作。上述人脸识别方法利用TOF可在红外线的时间域解释并获得光的传播路径判断人脸所处的天气状况以达到在雨雾天气也可以获得高精度的人脸识别结果。

技术领域

本发明涉及人脸识别领域，特别是一种基于TOF摄像模组的人脸识别方法及装置。

背景技术

传统的人脸识别方法总有些许的局限性，如主成分分析算法面对潜在的非线性结构时会取得不理想的识别效果，而拉普拉斯特征图法虽然成功保留了非线性局部结构信息但是在应用到测试数据集中无法获得清晰的特征图等等。神经网络浪潮再次来临，卷积神经网络的大兴起非常成功地推动了人脸识别领域的大发展。如今，一些主流的二维人脸识别方法已经能够取得相当高的准确率，这些方法都是训练卷积神经网络提取可分辨的特征，将人脸映射到高维欧几里得空间中的特征向量，这些方法在较为理想的情况下都有十分好的人脸识别率，但是在雨雾天气等能见度较低的情况下RGB人脸识别很难克服只使用彩色相机带来的局限性。

另一方面随着Time of Flight(TOF)传感器逐渐体积减小重量减轻，越来越多的移动设备可以装载这种比较廉价的深度传感器，TOF可以提供很高精度的深度值，而且TOF自带红外发射器，可以应对各种光照条件，由于红外线频率低，所以透过雨雾烟的能力很强，在弱光环境、雨雾或烟等恶劣环境中也能使得识别工作具有相当高的稳定性。

如何将TOF摄像模组合理地应用于人脸识别，以提升能见度较低情况下的人脸识别率成为当前急需解决的技术问题。

发明内容

为了提高能见度较低情况下的人脸识别率，本发明提出一种基于TOF摄像模组的人脸识别方法及装置，适用于能见度较低的情况。

为此，本发明提出的基于TOF摄像模组的人脸识别方法具体包括以下步骤：

A1，获取TOF摄像模组采集的被测人脸的彩色图像和对应的双通道深度图像，双通道深度图像包括幅值图像和相位图像；

A2，对双通道深度图像进行预处理，根据TOF接收器接收到的红外线光强关于时间的变化情况，判断所述被测人脸所处的天气状况；

A3，对经过预处理的双通道深度图像进行去噪；

A4，将经过去噪的双通道深度图像进行插值,与彩色图像进行对齐，得到五通道深度图像，其中三个通道为彩色图像，两个通道分别为幅值图像和相位图像；

A5，采集双通道深度图像中的人脸关键点，将五通道深度图像进行人脸矫正，分别得到五个通道下的矫正人脸图像；

A6，当判定结果为天晴时，使用校正后的五通道深度图像进行特征提取，并使用五通道深度分类器进行人脸识别；

A7，当判定结果为雨雾天气时，使用校正后的双通道深度图像进行深度特征提取，并使用双通道深度分类器进行人脸识别。

进一步地，在所述步骤A2中，经矩阵运算解耦出判别条件，依据TOF摄像模组检测出的双通道深度图像强度随时间的连续特性，判断当前天气状况，设置一个较合适的阈值。

进一步地，在所述步骤A3中，所述对经过预处理的双通道深度图像进行去噪具体包括将幅值图像和相位图像经过连结输入到特征提取金字塔中，经过六层卷积神经网络金字塔的特征提取，每一个下面一层都是由上面一层经特征提取而来，所述特征提取金字塔每层连接一个残差回归模块，以生成右边的残差金字塔，所述残差金字塔经过上采样生成，与所述特征提取金字塔层层对应。