[发明专利]平行多通道卷积神经网络、构建方法及图像特征提取方法

说明书

本发明公开了一种平行多通道卷积神经网络、构建方法及图像特征提取方法，涉及机器学习技术领域。由于Kinect等深度传感器的广泛使用，多模态图像的获取将会更加便利。因此，基于多模态图像信息的特征提取研究具有十分重要的意义。本发明首先针对多模态图像的各个通道建立子模态卷积神经网络模型，提取各个模态深度特征向量。为了获得具有统一性质的多模态图像特征，各模态子网络在特定的全连接层建立权重连接。在多层子网络的全连接部分，多模态深度特征向量根据权重配比融合成包含各模态信息的融合特征向量，再经多层网络的训练得到维度更低、表现力更好的特征表示。根据本发明得到的特征表示可以用于识别、分类等相关领域。

技术领域

本发明属于机器学习领域，更具体地，涉及一种平行多通道卷积神经网络及其构建方法以及基于平行多通道卷积神经网络的多模态图像特征提取方法。

背景技术

计算机视觉和图像处理领域中，我们通过测量可以得到识别或分类对象的原始表征信息。这种原始表征信息可以通过直接测量得到，所以被称为原始特征，如数字图像中每点的灰度值。原始特征易于被人的直觉所感知，但不常用于模式识别中。其原因主要包括三点：一是原始特征不能反映对象的本质特征；二是原始特征有时难以定量描述，不利于机器判别；三是高维的原始特征有大量的冗余信息，且对于有限的训练样本而言，高维特征在原始特征空间中分布十分稀疏。这三个原因导致基于原始特征设计的分类器计算量庞大且精度过低。针对原始特征的特性与不足，我们通常需要对测量得到的原始特征进行分析、选择和变换处理，组成更有效的特征表示。针对原始数据集进行特征提取的方案设计成为计算机视觉领域中十分重要的问题。

在早期的识别、分类等领域的计算机视觉方案中，特征提取主要基于彩色图像进行。彩色图像通过单摄像机采集得到，通过一系列的图像处理技术得到最终的特征表示。但是基于RGB彩色图像提取的特征表示在真实应用中，普遍受到环境光照、背景复杂度等因素的制约，使得设计相关分类器的难度提高，精度也无法得到保证。近年来，随着Kinect等深度摄像机的出现，为上述问题提供了新的解决思路。Kinect传感器能够在获取纹理信息的同时捕捉得到场景的深度信息，即可获取三维空间信息。获取得到的场景深度信息以深度图像的形式给出。结合深度信息的特征提取方案可以显著降低光照和复杂背景的影响，极大提高了在检索、识别和分类等复杂任务中的鲁棒性和准确性。因此，利用RGB-D等多模态图像信息的特征提取方案已成为一个新的研究方向。

利用多模态信息的关键在于如何将各形态信息有效的结合在一起，从而形成一个统一的特征表达形式。目前，对于多模态信息的利用主要是通过对各个图像形态提取传统的手工特征，如尺度不变特征变换(Scale-invariant feature transform，SIFT)、方向梯度直方图(Histogram of Oriented Gradient，HOG)等。最后，将这些经过单独提取的多模态特征作为分类器的训练输入。这种方案在多模态的处理上较为简单，对于多模态图像特征的提取过程相对独立，无法获得真正有效的融合特征表示。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种RGB-D多模态图像特征提取方法及系统，由此解决目前对于多模态信息的利用主要是通过对各个图像形态提取传统的手工特征而存在的无法获得真正有效的融合特征表示的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种平行多通道卷积神经网络的构建方法，包括：

对于预设多模态数据库中的各模态图像，构建与各模态图像对应的子模态卷积神经网络模型，并通过各子模态卷积神经网络模型提取各模态图像对应的深度特征向量；

在每个子模态卷积神经网络模型的目标全连接层，将各子模态卷积神经网络模型所提取的深度特征向量进行连接并分配连接权重系数得到包含各模态图像信息的融合特征向量，以构建初始平行多通道卷积神经网络模型；

将训练数据集送入所述初始平行多通道卷积神经网络模型中，对所述初始平行多通道卷积神经网络模型中的训练参数进行初次优化训练；