[发明专利]一种基于卷积神经网络的多模态特征融合方法及装置

说明书

本发明公开了一种基于卷积神经网络的多模态特征融合方法包括：从不同的异质图像中提取多个模态的特征，得到每个模态的第一特征集；在多模态卷积神经网络中，依据不同模态之间的相关性，从每个模态的第一特征集中筛选出符合预设条件的特征，得到每个模态的第二特征集；在多模态卷积神经网络的全连接层，确定每个模态的第二特征集的权重，并依据权重将多个模态的第二特征集进行融合，以使融合后的第二特征集对用于生物特征识别的多模态卷积神经网络进行训练。这样解决了现有技术中单一模态识别具有的局限性问题，提高了生物特征识别的准确度。

技术领域

本发明涉及图像处理领域，尤其涉及一种基于卷积神经网络的多模态特征融合方法及装置。

背景技术

随着科学技术的发展，生物识别技术越来越成熟，人们的生活也越来越依赖于生物特征识别技术，例如：指纹、人脸识别解锁等功能均依赖于生物识别技术。

现有技术中，通常采用单模态的图像特征进行生物特征识别，不同的模态可以理解为在不同场景下得到的图像，例如可见光人脸图像、近红外虹膜图像等。

但是每种模态都具有一定的局限性，若采用某一种模态训练的识别模型，将该识别模型用于对其它模态的图像进行识别时，会影响识别结果的准确性。因此，现在亟待需要一种可以将不同模态进行融合的方式。

发明内容

本发明实施例公开了一种基于卷积神经网络的多模态特征融合方法、装置及系统，解决了现有技术中单一模态识别具有的局限性问题，提高了生物特征识别的准确度。

本发明实施例公开了一种基于卷积神经网络的多模态特征融合方法，包括：

从不同的异质图像中提取多个模态的特征，得到每个模态的第一特征集；

在多模态卷积神经网络中，依据不同模态之间的相关性，从每个模态的第一特征集中筛选出符合预设条件的特征，得到每个模态的第二特征集；

在多模态卷积神经网络的全连接层，确定每个模态的第二特征集的权重，并依据所述权重将多个模态的第二特征集进行融合，以使融合后的第二特征集对用于生物特征识别的多模态卷积神经网络进行训练。

可选的，所述异质图像包括：

可见光人脸图像、近红外人脸图像、可见光虹膜图像、近红外虹膜图像，其中，每一种图像对应一种模态。

可选的，在所述异质图像为近红外人脸图像或者可见光人脸图像的情况下，所述从不同的异质图像中提取多个模态的特征，包括：

对输入的所述可见光人脸图像或者近红外人脸图像进行检测，得到人脸的位置信息和关键点的位置信息；

对输入的所述可见光人脸图像或者近红外人脸图像进行预处理；

将预处理后的所述近红外人脸图像或者可见光人脸图像输入到已训练的的人脸图像特征提取模型中，提取近红外光下的人脸特征或者可见光下的人脸特征。

可选的，在所述异质图像为可见光虹膜图像或者近红外虹膜图像的情况下，所述从不同的异质图像中提取多个模态的特征，包括：

分别采用第一方式和第二方式提取所述可见光虹膜图像或者近红外虹膜图像中双眼的相关性特征，得到第一目标特征集和第二目标特征集；

依据第一目标特征集和第二目标特征集的互补性，从第一目标特征集和第二目标特征集中提取虹膜的深度特征。

可选的，所述依据不同模态之间的相关性，从每个模态的第一特征集中筛选出符合预设条件的特征，包括：

分别从每个模态的第一特征集中筛选出具有最大化类间差异和最小化类内差异的特征，得到每个模态的第三特征集；

通过多元变量回归模型对每个模态的第三特征集进行分析，得到每个模态的第二特征集。