[发明专利]一种搭建针对人耳识别的深度学习网络结构的方法及系统

权利要求书

1.一种搭建针对人耳识别的深度学习网络结构的方法，其特征在于，包括如下步骤:

步骤1，对现有的人耳图像数据集进行扩充；

步骤2，针对扩充后的人耳图像数据集计算以热图形式呈现的人耳特征点标签；

步骤3，针对扩充后的数据集搭建级联卷积神经网络，级联卷积神经网络学习步骤2得到的以热图形式呈现的人耳特征点标签；

所述级联卷积神经网络包括如下几层：

(1)输入层：用于接受图片输入；

(2)人耳轮廓框估计层：利用CNN检测出一个能够包含6个人耳轮廓点的矩形框，将框出的图片传入下一级CNN中；

(3)人耳轮廓点检测层：与人耳轮廓框估计层相连，根据矩形框检测其中6个轮廓点并将结果输出；

(4)人耳内部点边界框估计层：利用CNN检测出一个可以包含7个人耳内部关键点的矩形框，将框出的图片传入下一级CNN中；

(5)人耳内部关键点检测层：与人耳内部点边界框层相连，根据矩形框检测其中7个人耳内部关键点并将结果输出；

(6)人耳关键点合并层：将人耳轮廓点和人耳内部点关键点检测层结果合并；

(7)人耳关键点热图输出层：基于人耳关键点合并得到13个人耳关键点的热图并输出；

步骤4，利用该网络结构进行训练、得到模型，从而实现通过深度学习网络提取人耳特征点，输出人耳特征点。

2.根据权利要求1所述的搭建针对人耳识别的深度学习网络结构的方法，其特征在于，所述步骤1中从人耳角度和人耳形状两方面对数据集进行扩充。

3.根据权利要求2所述的搭建针对人耳识别的深度学习网络结构的方法，其特征在于，从人耳角度对数据集进行扩充具体包括以下过程：首先提取人耳特征点，然后将这些特征点和3D人耳模型建立对应关系，以此可以得到相机外参数，接着可以得到相机矩阵，从中提取出旋转矩阵，通过改变旋转矩阵，能够得到新的角度旋转矩阵，给定一副图像，可以合成不同角度的人耳图像。

4.根据权利要求2所述的搭建针对人耳识别的深度学习网络结构的方法，其特征在于，从人耳形状对数据集进行扩充具体包括如下过程：首先通过3D人耳模型数据集获取多种高质量3D人耳扫描数据，接着将图像数据与不同3D人耳形状数据结合，生成同一个人不同耳朵形状的图像。

5.根据权利要求1所述的搭建针对人耳识别的深度学习网络结构的方法，其特征在于，所述步骤2中的人耳特征点标签是分别针对人耳图像中的每个特征点位置的热图。

6.一种搭建针对人耳识别的深度学习网络结构的系统，其特征在于，包括：

数据扩充单元，用于增加现有的人耳图像数据集中的图像数量；

热图标签单元，用于对扩充后的人耳图像数据集计算以热图形式呈现的人耳特征点标签；回归热图单元，用于搭建一个回归人耳图像中的每个特征点位置的热图的级联卷积神经网络，级联卷积神经网络学习热图标签单元得到的人耳特征点标签，并对数据扩充单元扩充后的人耳图像数据集中数据进行训练输出人耳特征点的热图结果；

所述级联卷积神经网络包括如下几层：

(1)输入层：用于接受图片输入；

(2)人耳轮廓框估计层：利用CNN检测出一个能够包含6个人耳轮廓点的矩形框，将框出的图片传入下一级CNN中；

(3)人耳轮廓点检测层：与人耳轮廓框估计层相连，根据矩形框检测其中6个轮廓点并将结果输出；

(4)人耳内部点边界框估计层：利用CNN检测出一个可以包含7个人耳内部关键点的矩形框，将框出的图片传入下一级CNN中；

(5)人耳内部关键点检测层：与人耳内部点边界框层相连，根据矩形框检测其中7个人耳内部关键点并将结果输出；

(6)人耳关键点合并层：将人耳轮廓点和人耳内部点关键点检测层结果合并；

(7)人耳关键点热图输出层：基于人耳关键点合并得到13个人耳关键点的热图并输出。