[发明专利]平行多通道卷积神经网络、构建方法及图像特征提取方法

权利要求书

1.一种平行多通道卷积神经网络的构建方法，其特征在于，包括：

对于预设多模态数据库中的各模态图像，构建与各模态图像对应的子模态卷积神经网络模型，并通过各子模态卷积神经网络模型提取各模态图像对应的深度特征向量；

在每个子模态卷积神经网络模型的目标全连接层，将各子模态卷积神经网络模型所提取的深度特征向量进行连接并分配连接权重系数得到包含各模态图像信息的融合特征向量，以构建初始平行多通道卷积神经网络模型；

将训练数据集送入所述初始平行多通道卷积神经网络模型中，对所述初始平行多通道卷积神经网络模型中的训练参数进行初次优化训练；对所述初始平行多通道卷积神经网络模型的训练过程包括前向传播和反向误差传播，其中，在所述反向误差传播过程中的，由确定所述初始平行多通道卷积神经网络模型中第l层的特征图，其中，z^l表示激活函数f在第l层的输入值，w^l表示第l层的核参数矩阵，b^l表示第l层的偏置项，下标j表示第j个子模态卷积神经网络模型，n表示子模态卷积神经网络模型的个数，上标l表示各子模态卷积神经网络模型连接的全连接层部分，上标l-1表示子模态卷积神经网络模型的最后一层，P_j表示第j个子模态卷积神经网络模型的连接权重系数矩阵；P_j＝(I_|j|0)，其中，|j|表示第j个子模态卷积神经网络模型在目标连接层中输入向量的维度，I_|j|表示|j|维单位矩阵；由得到所有子模态卷积神经网络模型在目标连接层部分的反向误差，其中，表示第l层的传播误差δ^l中属于第j个子模态卷积神经网络模型中的部分；

将验证数据集送入初次优化训练后的平行多通道卷积神经网络模型中进行效果评估，并进行最终优化得到目标平行多通道卷积神经网络模型，其中，所述预设多模态数据库中包括所述训练数据集与所述验证数据集。

2.根据权利要求1所述的方法，其特征在于，在所述将训练数据集送入所述初始平行多通道卷积神经网络模型中，对所述初始平行多通道卷积神经网络模型中的训练参数进行初次优化训练之前，所述方法还包括：

将所述预设多模态数据库中的若干个训练数据送入到栈式自编码网络中，预训练得到所述初始平行多通道卷积神经网络模型的全连接层的每一层网络参数的初始值。

3.根据权利要求2所述的方法，其特征在于，所述预训练得到所述初始平行多通道卷积神经网络模型的全连接层的每一层网络参数的初始值，包括：

第i个稀疏自编码器的输入层参数为第i-1个稀疏自编码器的隐含层特征向量，训练得到所述第i个稀疏自编码器的隐含层特征向量，并确定所述第i个稀疏自编码器的隐含层参数，其中，稀疏自编码器的个数与所述初始平行多通道卷积神经网络模型的全连接层包含的隐含层的个数有关，且第一个稀疏自编码器的输入层参数为各模态图像的特征向量；

将各稀疏自编码器的隐含层参数作为所述初始平行多通道卷积神经网络模型的全连接层的每一层网络参数的初始值。

4.一种基于权利要求1-3任一项所述的平行多通道卷积神经网络的构建方法的多模态图像特征提取方法，包括：将待提取多模态图像送入基于权利要求1-3任一项所述方法构建的平行多通道卷积神经网络模型，提取所述平行多通道卷积神经网络模型的目标层的多模态图像特征。