[发明专利]基于级联深度神经网络的边框目标图像对齐方法

说明书

本公开实施例提供一种基于级联深度神经网络的边框目标图像对齐方法，所述级联深度神经网络包括边缘提取网络以及与所述边缘提取网络级联的匹配对齐网络；所述方法包括：将待对齐的边框目标图像输入预先训练的所述边缘提取网络，得到边缘提取图像；将所述边缘提取图像和边缘模板图像输入的所述匹配对齐网络，得到对齐的边框目标图像。采用基于级联深度网络结构，是一种端到端的结构，使用简单，没有复杂的中间过程和后处理。整个过程使用简单，无需参数调试，性能稳定性好，同时由于深度学习本身的鲁棒性强的特点，从而极大提高整个过程的稳定性、可靠性和鲁棒性。直接对目标整体进行对齐，同时具备两种方法的优点，避免各自的缺点。

技术领域

本公开属于图像处理技术领域，具体涉及一种基于级联深度神经网络的边框目标图像对齐方法。

背景技术

图像对齐是很多视觉应用任务的前提步骤，一般将待处理的图像与一张标准模板的图像以一些点或边进行对齐，对齐之后的图像位置固定统一，后续的处理效率和效果都会比较好。目前主流的方法可分为传统图像处理方法和现在流行的深度学习方法。

以需要对齐边框结构目标为例，传统的方法一般会先对图像做二值化处理，再拟合直线从而得到关键的交点，再以交点为中心旋转图像对的对齐结果。这种方法包含图像二值化、直线拟合等传统算法，需要在使用时设置很多参数，这些参数对图像质量比较敏感，往往导致最终算法的鲁棒性不高，效果不好，适应性不强。

深度学习的方法相对比较简单，主要以关键点检测为主，找到图像中目标预定义的关键点，再通过与标准模板关键点进行变换计算得到变换矩阵，应用变换矩阵到待处理的图像从而得到对齐的图像，比较常见的应用如人脸对齐。但这种方法一般要求目标关键点比较明确且有较丰富的空间结构和纹理。而工业上中边框结构的目标，没有明确的关键点位置，检测出来的点位置误差会比较大，一般不适合与高精度的对齐任务。

发明内容

本公开旨在至少解决现有技术中存在的技术问题之一，提供一种基于级联深度神经网络的边框目标图像对齐方法。

本公开提供一种基于级联深度神经网络的边框目标图像对齐方法，所述级联深度神经网络包括边缘提取网络以及与所述边缘提取网络级联的匹配对齐网络；所述方法包括：

将待对齐的边框目标图像输入预先训练的所述边缘提取网络，得到边缘提取图像；

将所述边缘提取图像和边缘模板图像输入的所述匹配对齐网络，得到对齐的边框目标图像。

可选地，所述边缘提取网络包括多个第一卷积层、多个第二卷积层、一个第三卷积层和一个激活函数层；

所述将待对齐的边框目标图像输入预先训练的所述边缘提取网络，得到边缘提取图像，包括：

通过所述多个第一卷积层对所述待对齐的边框目标图像进行特征提取，得到多个第一特征图；

通过所述多个第二卷积层对所述多个第一特征图进行特征提取，得到多个第二特征图；

通过所述第三卷积层将所述多个第二特征图相加，得到最终的特征图；

通过所述激活函数层对所述最终的特征图进行处理，得到所述边缘提取图像。

可选地，所述待对齐的边框目标图像为1通道的灰度图；和/或，

所述多个第一卷积层为64通道的三个第一卷积层，卷积核为3x3x64；和/或，

所述多个第二卷积层为21通道的三个第二卷积层，卷积核为3x3x21；和/或，

所述第三卷积层为21通道的卷积层。

可选地，所述边缘提取网络通过以下步骤训练得到：

获取多个边框图像，并对所述边框训练图像的边缘进行标注，得到训练图像；