[发明专利]一种基于特征融合神经网络的亲属识别方法

摘要

本发明涉及一种基于特征融合神经网络的亲属识别方法，属于图像处理领域。包括如下步骤：步骤一、对数据集中的人脸图像进行预处理，得到预处理后的人脸图像；步骤二、构建正样本对和负样本对；步骤三、生成对应的正样本对标签和负样本对标签；步骤四、分别对正样本对、负样本对以及正样本对标签和负样本对标签进行分割，生成训练集和测试集；步骤五、生成网络输入的训练数据和测试数据；步骤六、将步骤五生成的训练数据分批输入神经网络进行T轮迭代训练，并保存训练好的网络参数，输出训练好的神经网络；步骤七、经训练好的神经网络进行测试。所述方法学习不同特征之间的互补性和差异性，提高了特征的鲁棒性。

主权项

1.一种基于特征融合神经网络的亲属识别方法，其特征在于：包括如下步骤：步骤一、对数据集中的人脸图像进行预处理，得到预处理后的人脸图像；其中，数据集包含X个人脸图像，X为偶数；预处理后的人脸图像数量也为X个；数据集中按顺序的两个人脸图像具有亲属关系，具体为：数据集中偶数序号对应的图像为待识别图像，奇数序号对应的图像为男性亲属图像或女性亲属图像中的一种；其中，偶数序号的待识别图像为需要进行判断是否与对应的奇数序号图像具有亲属关系；人脸图像为RGB图像，即三通道的人脸图像，所述的三通道分别对应R通道、G通道和B通道；其中，预处理包括对齐、裁剪操作；步骤二、基于步骤一得到的预处理后的人脸图像构建正样本对和负样本对；其中，正样本对的数量为X/2；负样本对的数量为X/2个；步骤三、基于步骤二构建的正样本对和负样本对，生成对应的正样本对标签和负样本对标签；具体为，将正样本对对应的标签设置为1，负样本对对应的标签设置为0；其中，正样本对标签为X/2个，负样本对标签为X/2个；步骤四、分别将步骤二构建的正样本对、负样本对和步骤三生成的正样本对标签、负样本对标签进行分割，生成训练集和测试集；分别将X/2个正样本对和负样本对进行分割，将其中的A％用于训练，将剩下的B％＝1‑A％正样本对和负样本对用于测试；分别将X/2个正样本对标签和负样本对标签进行分割，将其中的A％用于训练，将剩下的B％＝1‑A％正样本对和负样本对标签用于测试；其中，X/2个正样本对和负样本对的A％以及X/2个正样本对标签和负样本对标签的A％构成训练集，即训练集样本总数为(A％*X)个；X/2个正样本对和负样本对的B％以及X/2个正样本对标签和负样本对标签的B％构成测试集，即测试集样本总数为(B％*X)个；步骤五、对步骤四生成的训练集和测试集中的正样本对和负样本对中的两张图像分别提取m种特征，每种特征对应两个特征向量，然后将对应同一种特征的两个特征向量做差取绝对值，得出m个特征向量差模，再将得出的m个特征向量差模作为网络输入的训练数据和测试数据；步骤六、将步骤五生成的训练数据分批输入神经网络进行T轮迭代训练，输出训练好的神经网络，并保存训练好的神经网络参数；其中，神经网络包括m个基本特征转换模块和1个融合特征转换模块，这两种类型模块的操作均为先经全连接层，再经非线性激活函数激活；基本特征转换模块包含的全连接层数为C层，记为全连接层1，全连接层2…全连接层C，C>＝2；全连接层1、全连接层2…全连接层C对应的神经元个数分别为H1、H2…H3；每个全连接层后面使用的非线性激活函数为F1，F1为sigmoid，relu以及tanh中的一种；融合特征转换模块包含的全连接层数为Q层，记为第1全连接层，第2全连接层…第Q全连接层，Q>＝2；每个全连接层后面使用的非线性激活函数为F2，F2为sigmoid，relu以及tanh中的一种；步骤六又包括如下子步骤：步骤6.1初始化迭代次数t为1，初始化迭代总次数T，初始化迭代份数i为1，初始化基本特征转换模块中全连接层1到全连接层C的权重参数，初始化融合特征转换模块中第1全连接层到第Q全连接层的权重参数，初始化batch的值为N；步骤6.2将步骤五得到的(A％*X)个训练数据随机分为(A％*X)/N＝I份，每份N个训练样本；步骤6.3取步骤6.2生成第i份数据，将第i份数据的N个训练样本提取的m种特征x_j，分别输入m个基本特征转换模块中进行前向传播，分别得到的全连接层C输出的特征φ(x_j)，j∈[1,m]；步骤6.4拼接步骤6.3中的特征x_j和φ(x_j)，形成第j个基本特征转换模块的输出即遍历j∈[1,m]，生成m个基本特征转换模块的输出；步骤6.5将步骤6.4生成的所有基本特征转换模块的输出进行融合，得到一个融合m种特征的特征向量，具体为：拼接特征和m个基本特征转换模块的全连接层C输出的特征φ(x_j)，产生一个h维度的融合特征向量，即z^T＝[z₁^T，…，x_i^T，…，x_m^T，φ(x₁^T)，…，φ(x_i^T)，…，φ(x_m^T)]∈R^h；步骤6.6将步骤6.5产生的h维度的融合特征输入融合特征转换模块，即依次输入第1全连接层直至第Q全连接层进行非线性学习，第Q全连接层输出N个P维特征向量；步骤6.7计算损失，具体为：将步骤6.6输出的N个P维特征向量和第i份数据的N个标签一起经softmax‑loss损失函数计算交叉熵；步骤6.8反向传播，具体为，求解步骤6.7得到的损失对权重参数的偏导数，使用Adam优化器对参数进行更新，完成反向传播；步骤6.9判断迭代份数i是否等于I，如果不等于，则将i加1，跳至步骤6.3；步骤6.10判断迭代次数t是否等于T，如果不等于，则将t加1，跳至步骤6.2，否则跳至步骤6.11；步骤6.11输出训练好的神经网络，并保存神经网络参数；其中，保存的神经网络参数包括m个基本特征转换模块中的全连接层权重和1个融合特征转换模块的全连接层的权重；步骤七、将步骤五生成的(B％*X)个测试数据输入步骤六训练好的神经网络进行测试，具体为：加载步骤五生成的测试数据的每个样本对提取的m种特征输入步骤六训练好的神经网络进行前向传播，得到全连接层Q输出的K维向量，然后输入Softmax函数计算，得到一个K维向量，此K维向量中的每个值代表该样本属于每一类别的概率，将K维向量中概率最大的位置作为人脸图像样本对的标签；其中，K＝2，且最大的位置为0或1中的一个；0表示人脸图像对不具有亲属关系，1表示人脸图像对具有亲属关系。