[发明专利]基于深度特征提取的图像重定向方法及系统、终端

说明书

本发明提供一种基于深度特征提取的图像重定向方法及系统、终端，其中：训练用于前景分割的卷积神经网络，该网络可以将图像中的显著的前景物体和背景进行分割；使用所述网络提取出输入图像低阶特征和高阶特征，提取出不同尺度上的特征图；对所述特征图进行线性加权组合，生成衡量输入图像各像素重要程度的重要度图，并将输入图像和重要度图以预先设定好的网格大小为单位进行划分；根据重要度图计算设定的综合目标函数，通过求解一个二次最优化问题最终生成重定向图像。本发明改善了现有的图像重定向方法的对图像高阶语义理解不足，易造成显著物体发生明显变形、图像全局信息丢失的问题，更好地实现了图像的重定向。

技术领域

本发明涉及一种图像处理技术领域的方法，具体是一种基于卷积神经网络进行深度特征提取的图像重定向方法及系统、终端。

背景技术

随着成像技术、网络传输技术和消费电子领域的不断发展，图像/视频已经成为多媒体生产和分发的重要组成部分，极大的丰富了人们的生活。生活中的显示设备的种类也逐渐多元化：液晶电视、智能手机、平板电脑、可穿戴设备。通过这些设备，人们可以随时随地的观看数字媒体内容。

这些不同的显示设备因为其用途和市场定位的不同，通常比尺寸和长宽比都没有统一的标准。例如，当前市场上的主流电脑显示器和智能手机屏幕的比例有标准的16：9和最近新推出的18.5：9到19.5：9等多种规格，而可穿戴设备如VR眼镜、智能手表等的屏幕比例更是五花八门。而多媒体内容的制作通常是在考虑特定目标屏幕的情况下制作的。在早期的静态摄影中，胶片的格式比例为3：2。随着数字图像传感器的发展，人们开始普遍采用4：3的比例，早期的影视作品均采用这个比例。截止到目前，大多数电视已经从4：3的比例转换为16：9的比例，电影院采用的宽屏模式长宽比高达2.4：1。近年来，短视频内容领域的崛起更是使多媒体内容如何在大屏、小屏上舒适观看的问题变得亟待解决。

由于传统的方法所采用的重要度图生成方法都不是基于深度学习的方法，其本质在于基于图像的色彩、纹理等局部特征计算显著性，在真实环境下的鲁棒性表现不佳。近几年出现的一些基于深度学习的图像重定向方法，主要是纯生成的方法进行最终的图像重定向，效率和效果均不佳。

经检索，申请号为201811274899.0的中国发明申请，公开了一种基于能量转移和均匀缩放的图像重定向方法，步骤是：输入图像进行预处理；提取彩色RGB图像Icolor的重要度图，根据累积能量矩阵确定最佳接缝，重要度更新，移除最佳接缝，评价缝裁剪后图像的变形程度等，该发明克服了现有技术存在的在图像缩放中原图像主体目标会发生明显变形、图像全局信息丢失以及留有明显的人工处理痕迹以及时间复杂度高的缺陷。

该专利使用重要度图生成方式通过大量手工设计的特征，并且只能提取图像的色彩、对比度等局部特征，缺乏了对图像的高阶语义理解，不够鲁棒，在处理图像主体和背景区分不明显等较为复杂的情况时无法进行有效的图像重定向。此外，缝剪裁重定向方法需要进行迭代进行重要度图更新和最佳接缝移除，计算时间相对比较长。

发明内容

本发明针对现有技术的缺陷，提供一种基于深度特征提取的图像重定向方法及系统。

根据本发明的第一目，提供一种基于深度特征提取的图像重定向方法，包括：

S1：训练用于前景分割的全卷积神经网络，该网络能将图像中的显著的前景物体和背景进行分割；

S2：使用所述全卷积神经网络提取出输入图像的低阶特征和高阶特征，提取出不同尺度上的重要度图；

S3：对所述重要度图进行线性加权组合，生成衡量输入图像各像素重要程度的重要度图，并将输入图像和重要度图以预先设定好的网格大小为单位进行划分；

S4：根据所述重要度图来计算设定的综合目标函数，通过求解一个最优化问题计算出各网格变形后的大小，最终生成重定向图像。