[发明专利]基于级联深度神经网络的边框目标图像对齐方法

权利要求书

1.一种基于级联深度神经网络的边框目标图像对齐方法，其特征在于，所述级联深度神经网络包括边缘提取网络以及与所述边缘提取网络级联的匹配对齐网络；所述方法包括：

将待对齐的边框目标图像输入预先训练的所述边缘提取网络，得到边缘提取图像；

将所述边缘提取图像和边缘模板图像输入的所述匹配对齐网络，得到对齐的边框目标图像。

2.根据权利要求1所述的方法，其特征在于，所述边缘提取网络包括多个第一卷积层、多个第二卷积层、一个第三卷积层和一个激活函数层；

所述将待对齐的边框目标图像输入预先训练的所述边缘提取网络，得到边缘提取图像，包括：

通过所述多个第一卷积层对所述待对齐的边框目标图像进行特征提取，得到多个第一特征图；

通过所述多个第二卷积层对所述多个第一特征图进行特征提取，得到多个第二特征图；

通过所述第三卷积层将所述多个第二特征图相加，得到最终的特征图；

通过所述激活函数层对所述最终的特征图进行处理，得到所述边缘提取图像。

3.根据权利要求2所述的方法，其特征在于，所述待对齐的边框目标图像为1通道的灰度图；和/或，

所述多个第一卷积层为64通道的三个第一卷积层，卷积核为3x3x64；和/或，

所述多个第二卷积层为21通道的三个第二卷积层，卷积核为3x3x21；和/或，

所述第三卷积层为21通道的卷积层。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述边缘提取网络通过以下步骤训练得到：

获取多个边框图像，并对所述边框训练图像的边缘进行标注，得到训练图像；

将所述训练图像输入所述边缘提取网络，得到输出的边缘热力图像；

根据所述边缘热力图像和标注的训练图像之间的差异，对所述边缘提取网络进行反向传播训练，得到训练完成的所述边缘提取网络。

5.根据权利要求4所述的方法，其特征在于，采用下述关系式计算所述边缘热力图像和标注的训练图像之间的差异：

其中，L(H,G)为二值交叉熵函数，p表示两幅图中任一对应点的坐标，G(p)与H(p)分别表示该点在边缘热力图与标注的训练图像中的值。

6.根据权利要求1至3任一项所述的方法，其特征在于，所述将所述边缘提取图像和边缘模板图像输入所述匹配对齐网络，得到对齐的边框目标图像，包括：

将所述边缘提取图像和所述边缘模板图像输入所述匹配对齐网络，计算出所需的空间变换矩阵；

根据所述空间变换矩阵，对所述边缘提取图像进行对齐处理，得到所述对齐的边框目标图像。

7.根据权利要求6所述的方法，其特征在于，所述将所述边缘提取图像和所述边缘模板图像输入所述匹配对齐网络，计算出所需的空间变换矩阵，包括：

将所述边缘提取图像和所述边缘模板图像进行合并，形成一个2通道的输入拼接图像；

对所述输入拼接图像使用3x3x32的卷积核进行一次卷积，并进行一次下采样，得到一个32通道1/2原始分辨率的第三特征图；

使用3x3x64的卷积核对所述第三特征图进行一次卷积，并进行一次下采样，得到一个64通道1/4原始分辨率的第四特征图；

通过一个全连接层对所述第四特征图进行处理，输出1024维度特征；

对所述1024维度特征，再进行一次全连接层运算，输出6维度特征，即为所述空间变换矩阵的六个参数。

8.根据权利要求6所述的方法，其特征在于，所述根据所述空间变换矩阵，对所述边缘提取图像进行对齐处理，得到所述对齐的边框目标图像，包括：

根据所述空间变换矩阵，计算所述边缘提取图像I和所述边缘模板图像T之间的匹配方案：

设所述边缘模板图像T中所有边缘点的集合为T⁺，对于任意p∈T⁺，其在边缘提取图像I中的对应位置为θ(p)。