[发明专利]一种基于深度学习和Spark的人脸识别特征并行训练方法

说明书

本发明公开一种将深度学习的特征提取算法在Spark平台上进行实施的方法，首先对图片集中的图片进行人脸检测，然后对人脸图片集进行特征提取，特征提取是在Spark平台上，经过一些处理之后形成RDD，接下来就运用深度学习的方法—卷积神经网络训练特征，最终得到描述的是整个人脸的全局特征。本发明加快了深度学习训练特征的过程，同时提取出的特征应用到后续的人脸识别上很大程度的减少了测试误差，达到了速度快，效果好的目的。

技术领域

本发明涉及计算机视觉领域，具体涉及人脸识别技术环节中的特征提取模块。

背景技术

特征提取主要是从人脸图像中提取具有判别性的特征，它是人脸识别的核心部分。特征提取的优劣会在很大程度上影响人脸识别效果，现有的方法主要包括如下四个方面：

1. 几何特征：以面部特征点之间的距离和比率作为特征，其识别速度快，对内存要求较小，对光照不太敏感。

2. 基于模型的特征提取方法：隐马尔科夫模型是一种常用的模型，根据不同特征状态所具有的概率不同而提取人脸图像特征。

3. 基于统计的特征提取方法：将人脸图像视为随机向量，并用统计方法辨别不同人脸特征模式，比较典型的有特征脸、独立成分分析、奇异值分解等。

4. 基于神经网络的特征提取方法：利用大量神经单元对人脸图像特征进行联想存储和记忆，根据不同神经单元状态的概率实现对人脸图像准确识别。

特征提取的优劣会在很大程度上影响人脸识别效果，而提取更优的特征很多时候会伴随着付出更多的时间代价，而且存在人脸图像受到光照、表情、遮挡、姿态等多种因素的影响，因此如何更快地提取出更好的特征是我们研究的核心。

发明内容

针对当前大多人脸识别算法实时性差、识别率低的问题，首先分析原因大致有以下两点：1.人脸识别过程中的特征提取模块由于计算量很大导致耗时过长；2.选取哪种特征来表征人脸以及如何提取特征对人脸识别的识别效果有很大的影响。深度学习可以针对人脸图像的分层特征表达进行：最底层从原始像素开始学习滤波器，刻画局部的边缘和纹理特征；中层滤波器通过将各种边缘滤波器进行组合，描述不同类型的人脸器官；最高层描述的是整个人脸的全局特征。深度模型的表达能力更强，效率更高。

基于上述分析，本发明实例提供了一种将深度学习的特征提取算法在Spark平台上进行实施的方法，所述方法包括以下步骤：

步骤1：首先将大量的人脸图像文件合并成少量的文件块（因为单张人脸图像太小，远小于Block的大小），然后把图片文件通过基于Spark Streaming的程序读取成数据流，重新将数据流写成图片文件并存储在HDFS(Hadoop Distribute File System)文件系统上，输入到Spark，转换为Block；

步骤2：:在Spark数据输入形成RDD(Resilient Distributed Datasets)后，将原来RDD中的每个数据项使用TensorFlow框架，用于训练特征，得到一个新的RDD。框架中的神经网络结构为：输入层、2层卷积层、2层全连接层和输出层，每层卷积层后跟着一个最大池化层；

步骤3：作业开始执行，Driver接收Spark作业和数据，Master节点向Worker发送命令，最终分配Task在集群中的各节点上的Executor上执行；

步骤4：将最终结果数据输出存到HDFS，完成整个特征提取，供后续人脸识别使用。

进一步地，所述步骤1中所述的输入人脸图片部分作为输入的人脸图片应是一张大部分区域都是人脸的灰度图片，因此对于任意一张包含人脸的图片，首先需要进行人脸检测，将图片中的人脸提取出来（人脸检测的方法不是本发明重点，在此不再赘述），本发明能保证准确提取出任意图片中的人脸，并会对人脸进行对齐，使各张人脸的眼睛、嘴巴等位于图片的相同位置。