[发明专利]一种基于卷积神经网络的多模态特征融合方法及装置

权利要求书

1.一种基于卷积神经网络的多模态特征融合方法，其特征在于，包括：

从不同的异质图像中提取多个模态的特征，得到每个模态的第一特征集；所述异质图像包括：可见光人脸图像、近红外人脸图像、可见光虹膜图像、近红外虹膜图像，其中，每一种图像对应一种模态；

在多模态卷积神经网络中，依据不同模态之间的相关性，从每个模态的第一特征集中筛选出符合预设条件的特征，得到每个模态的第二特征集；

在多模态卷积神经网络的全连接层，确定每个模态的第二特征集的权重，并依据所述权重将多个模态的第二特征集进行融合，以使融合后的第二特征集对生物特征识别的多模态卷积神经网络进行训练；

所述依据不同模态之间的相关性，从每个模态的第一特征集中筛选出符合预设条件的特征，包括：

分别从每个模态的第一特征集中筛选出具有最大化类间差异和最小化类内差异的特征，得到每个模态的第三特征集；

通过多元变量回归模型对每个模态的第三特征集进行分析，得到每个模态的第二特征集；

其中，将不同模态的第三特征集中具有相关性的特征点之间的距离近似等于同类样本具有相关性的特征点之间的距离；所述同类样本表示同质的样本。

2.根据权利要求1所述的方法，其特征在于，在所述异质图像为近红外人脸图像或者可见光人脸图像的情况下，所述从不同的异质图像中提取多个模态的特征，包括：

对输入的所述可见光人脸图像或者近红外人脸图像进行检测，得到人脸的位置信息和关键点的位置信息；

对输入的所述可见光人脸图像或者近红外人脸图像进行预处理；

将预处理后的所述近红外人脸图像或者可见光人脸图像输入到已训练的的人脸图像特征提取模型中，提取近红外光下的人脸特征或者可见光下的人脸特征。

3.根据权利要求1所述的方法，其特征在于，在所述异质图像为可见光虹膜图像或者近红外虹膜图像的情况下，所述从不同的异质图像中提取多个模态的特征，包括：

分别采用第一方式和第二方式提取所述可见光虹膜图像或者近红外虹膜图像中双眼的相关性特征，得到第一目标特征集和第二目标特征集；依据第一目标特征集和第二目标特征集的互补性，从第一目标特征集和第二目标特征集中提取虹膜的深度特征。

4.一种基于卷积神经网络的多模态特征融合装置，其特征在于，包括：

多模态特征提取单元，用于从不同的异质图像中提取多个模态的特征，得到每个模态的第一特征集；所述异质图像包括：可见光人脸图像、近红外人脸图像、可见光虹膜图像、近红外虹膜图像，其中，每一种图像对应一种模态；

筛选单元，用于在多模态卷积神经网络中，依据不同模态之间的相关性，从每个模态的第一特征集中筛选出符合预设条件的特征，得到每个模态的第二特征集；

融合单元，用于在多模态卷积神经网络的全连接层，确定每个模态的第二特征集的权重，并依据所述权重将多个模态的第二特征集进行融合，以使融合后的第二特征集对用于生物特征识别的多模态卷积神经网络进行训练；

所述筛选单元，包括：

筛选子单元，用于分别从每个模态的第一特征集中筛选出具有最大化类间差异和最小化类内差异的特征，得到每个模态的第三特征集；

分析子单元，用于通过多元变量回归模型对每个模态的第三特征集进行分析，得到每个模态的第二特征集；

其中，将不同模态的第三特征集中具有相关性的特征点之间的距离近似等于同类样本具有相关性的特征点之间的距离；所述同类样本表示同质的样本。

5.一种基于卷积神经网络的多模态特征融合系统，其特征在于，包括：

采集端和数据处理端；

所述采集端，用于获取表示不同模态的异质图像；所述异质图像包括：可见光人脸图像、近红外人脸图像、可见光虹膜图像、近红外虹膜图像，其中，每一种图像对应一种模态；

所述数据处理端，用于从不同的异质图像中提取多个模态的特征，得到每个模态的第一特征集；

在多模态卷积神经网络中，依据不同模态之间的相关性，从每个模态的第一特征集中筛选出符合预设条件的特征，得到每个模态的第二特征集；

在多模态卷积神经网络的全连接层，确定每个模态的第二特征集的权重，并依据所述权重将多个模态的第二特征集进行融合，以使融合后的第二特征集对用于生物特征识别的多模态卷积神经网络进行训练；

所述依据不同模态之间的相关性，从每个模态的第一特征集中筛选出符合预设条件的特征，包括：

分别从每个模态的第一特征集中筛选出具有最大化类间差异和最小化类内差异的特征，得到每个模态的第三特征集；

通过多元变量回归模型对每个模态的第三特征集进行分析，得到每个模态的第二特征集；

其中，将不同模态的第三特征集中具有相关性的特征点之间的距离近似等于同类样本具有相关性的特征点之间的距离；所述同类样本表示同质的样本。