[发明专利]3D人脸建模与立体判断方法及嵌入式平台的双目3D人脸建模与立体判断方法

权利要求书

1.一种双目3D人脸建模与立体判断方法，其特征在于，包括以下步骤：

步骤(1)、输入左右视图数据构造cost volume：设置视差预测的网络输入尺寸，在输入网络之前将已经获取的左视图的ROI图像left_face_img和右视图的ROI图像right_face_img，归一化到与网络输入尺寸上，其中ROI为感兴趣区域，即将cost volume操作前移到原始数据层，在输入空间构造2*D*网络输入尺寸的张量，其中D是实际能匹配的最大视差数，D的值为2ⁿ(n≥4)；

步骤(2)、CNN1视差特征提取：CNN1网络结构包括两个部分，前面部分是下采样8倍提取高维语义信息，后面部分是上采样8倍通过高层语义信息与底层纹理信息融合，CNN1视差特征提取学习过程是使用SoftmaxWithLoss交叉熵损失学习，由于步骤(1)将cost volume操作前移到原始数据层，所以只有一段CNN1网络结构就可以解码输出一个D*网络输入尺寸的视差特征；

步骤(3)、argmax视差解析：argmax操作就是将D*网络输入尺寸张量的视差值解析出来，argmax操作是指找D*网络输入尺寸一个位置点在D通道上值最大的索引，这个位置点最大值所在的通道索引就是网络预测的视差值，经过argmax后视差预测张量形状变为网络输入尺寸向量；

步骤(4)建模人脸3D图：网络视差预测结果是基于网络输入尺寸图像的视差，原始分辨率的真实视差需要乘以一个比例scale_x＝(ROI.x2-ROI.x1)/网络输入尺寸的宽度，ROI.x2为感兴趣区域的X轴最大值，ROI.x1为感兴趣区域的X轴最小值，即原始分辨率的视差D_truth＝D_predict*scale_x，D_predict是预测的视差值，D_truth是真实的视差值，3D人脸建模最终输出的深度Depth＝B*F/(D_truth)，B是双目摄像头之间的基线距离，F是双目镜头基线校正之后的共面像素焦距，Depth是人脸的深度距离；

步骤(5)、CNN2预测人脸3D立体：根据3D人脸图，设计CNN2深度学习分类网络，直接对网络输入尺寸上的3D人脸图进行特征提取然后通过全连接层进行分类是否具有立体信息。

2.如权利要求1所述的一种3D人脸建模与立体判断方法，其特征在于：所述步骤(2)的CNN1和步骤(5)的CNN2都是经过设备实际数据训练过后保存下的模型参数，训练数据是实际双目设备采集的真实左右视图，训练标签包含两部分：一部分是经过与左视图人脸对齐的准确视差图，另一部分是输入的左右人脸视图是否具有深度信息的分类标签，网络训练结构使用的是caffe，训练方式是CNN1与CNN2一体化训练，学习视差预测和立体判断的损失函数都是选择交叉熵损失。