[发明专利]基于深度特征提取的图像重定向方法及系统、终端

权利要求书

1.一种基于深度特征提取的图像重定向方法，其特征在于，包括：

S1：训练用于前景分割的全卷积神经网络，该全卷积神经网络能将图像中的显著的前景物体和背景进行分割；

S2：使用所述全卷积神经网络提取出输入图像的低阶特征和高阶特征，提取出不同尺度上的重要度图；

S3：对所述不同尺度上的重要度图进行线性加权组合，生成衡量输入图像各像素重要程度的重要度图，并将输入图像和重要度图以预先设定好的网格大小为单位进行划分；

S4：根据所述重要度图来计算设定的综合目标函数，通过求解一个最优化问题计算出各网格变形后的大小，最终生成重定向图像；

S3中，所述对重要度图进行线性加权组合，是指：

将各尺度上的重要度图通过双线性插值上采样到和输入图像相同的分辨率，然后对其进行加权平均求和最终的重要度图：

其中α_i代表尺度i的重要度图的权值α_i；L为不同尺度的数目，S为最终重定向所使用的重要度图，为尺度i上的重要度图。

2.根据权利要求1所述的基于深度特征提取的图像重定向方法，其特征在于：S1中，所述全卷积神经网络在公开的大规模显著物体分割数据集上训练，从数据集原始图像中切割出小于或等于512×512分辨率的图像用于训练和验证，使用的损失函数为逐像素的交叉熵损失。

3.根据权利要求1所述的基于深度特征提取的图像重定向方法，其特征在于：S2中，所述提取出不同尺度上的重要度图，是指：

将位于各池化层前卷积层的所有通道的激活输出值进行累加，然后进行离差标准化消除不同尺度重要度图之间的数值上的差异，离差标准化的定义如下：

其中S_i为尺度i上的重要度图，S_i(x',y')为该重要度图中(x',y')处像素的值，S_i为尺度i上归一化之后的重要度图。

4.根据权利要求1所述的基于深度特征提取的图像重定向方法，其特征在于：S3中，所述将输入图像和重要度图以预先设定好的网格大小为单位进行划分，是指：

将输入图像和重要度图以预先设定好的网格大小为单位进行轴对齐的划分，每个网格的重要程度为其中所有像素的重要度值的平均值。

5.根据权利要求1所述的基于深度特征提取的图像重定向方法，其特征在于：所述S4中，在重要度图的指导之下，通过将网格的大小变化之后的形变程度建模为一个二次最优化问题，进行求解之后得到网格变形之后的大小，以网格为单位进行插值生成最终的重定向图片。

6.根据权利要求5所述的基于深度特征提取的图像重定向方法，其特征在于：所述S4，具体包括：

一个M×N轴对齐网格表示为一个一维的列向量其中s^rows，s^cols分别为所有网格的行坐标和列坐标，最终图像重定向问题建模为一个最优化问题:

最小化s^TQs+s^Tb，

约束条件为

其中代表自定义的基于S3生成的重要度图构造能量约束矩阵，在重要度图的指导下定义，则代表该优化问题中的常数偏置项，L^h为网格在重定向过程中的高度的最小值；H^h为高度的最大值；L^w为宽度的最小值；H^w为宽度的最大值；H'为重定向图像的高度；W'为重定向图像的宽度；M和N分别是轴对齐划分的行和列的数目。

7.根据权利要求1-6任一项所述的基于深度特征提取的图像重定向方法，其特征在于：所述用于前景分割的全卷积神经网络，其中：最后一层为卷积层，以使得该网络能接受任意尺寸的输入图像，除最后一层卷积层外各卷积层的卷积核的大小都是3×3，最后一层的卷积核大小为1×1，每层卷积操作后都有RELU作为激活函数；另外，生成器的输入层通道数为3，输出层通道数为2，最后通过一个Softmax层进行二分类得到前景物体所在区域的位置。