[发明专利]一种基于深度学习和Spark的人脸并行识别方法

说明书

本发明公布了一种基于深度学习和Spark的人脸并行识别方法通过深度学习框架以及使用Spark并行化的方式实现人脸的识别。在图像特征的提取过程中，使用Partition将图形分到不同的集群节点，利用Spark集群中的每一个节点并行化训练参数以及模型，在每一个集群节点，均会生成一个模型，这些模型将用来之后的人脸并行化识别，通过并行化减少时间开销。在识别人脸的过程中，使用Spark的特性，采用并行化的识别方式将特征广播到每一个集群节点，在每一个集群节点分别计算，每一个节点产生一个对应的待识别人脸的结果。在主节点上汇总所有分节点的结果，通过所有的结果比较，得到最终的结果。

技术领域

本发明属于人脸识别方法与识别领域，具体涉及一种人脸识别的并行化识别方法。

背景技术

随着我国智慧城市的建设，人脸识别已经成为仅次于指纹识别的高速发展领域。人脸识别是根据所提取的人脸图像特征采用相关识别算法进行人脸确认或辨别。即将已检测到的待识别人脸与数据库中已知人脸进行比较匹配，得出相关信息，该过程的关键是选择适当的人脸表征方式与匹配策略，系统的构造与人脸的表征方式密切相关。一般根据所提特征而选择不同识别算法进行度量，常用的包括距离度量、支持向量机、神经网络、k均值聚类等方法。

在实际应用中，涉及到的人脸识别范围通常是大量人群的图像识别，训练模型以及人脸识别花费的时间开销将是巨大的。严重影响了人们的工作进度与工作人员的效率。

发明内容

针对当前大多数人脸识别算法实时性差、识别率低的问题，首先分析原因大致有以下两点：1.人脸识别过程中的分类器模型训练时间过长；2.分类器分类效果不佳。而当前最新的深度学习算法通过对大量样本数据的学习，找到最合适的分类方法和标准，致使分类精度大大提升。

基于以上分析，本发明提供了一种基于深度学习和Spark的人脸并行识别方法，所述方法包括以下步骤：

步骤1：首先将提取出的人脸特征分块然后处理并存储在HDFS(Hadoop DistributedFile System)文件系统上，输入到Spark，转换为Block；

步骤2：:在Spark数据输入形成RDD(Resilient Distributed Datasets)后，在Transition阶段，在每个节点上使用TensorFlow框架，框架中调用利用TensorFlow训练好的深度学习分类器模型来对特征进行处理，实现分类的目的。深度学习分类器模型是由卷积神经网络训练得到的，该卷积神经网络结构为：卷积层，降采样层，全链接层；

步骤3：作业开始执行，Driver接收Spark作业和数据，Master节点向Worker发送命令，最终分配Task在集群中的各节点上的Executor上执行；

步骤4：将最终结果数据输出存储到HDFS，然后加载结果数据显示识别结果。

进一步地，所述步骤1中所述的输入人脸特征实际上也是利用深度学习方法训练出的特征。（这不是本发明的重点，所以在此不再赘述）

进一步地，所述步骤2中，所述的卷积神经网络详细情况是：第一层输入层就是输入Spark数据，第二层卷积层Conv1：实现卷积以及Rectified Linear Activation（需要设定），第三层池化层Pool1：Max Pooling（这里是2*2的Max_Pool），第四层卷积层Conv2：实现卷积以及Rectified Linear Activation，第五层池化层Pool2：Max Pooling，，第六层卷积层Conv3：实现卷积以及Rectified Linear Activation，第七层池化层Pool3：MaxPooling，第八层全连接层Local3：基于修正线性激活的全连接层，第九层全连接层Local4：基于修正线性激活的全连接层，第10层输出层Softmax_Linear：进行线性变换以输出Logits，激活函数用Relu。