[发明专利]显著性感知图像裁剪方法、装置、计算设备和存储介质

说明书

本申请涉及一种显著性感知图像裁剪方法、装置、计算设备和存储介质，其中，该显著性感知图像裁剪方法包括裁剪模型训练和图像裁剪，其中裁剪模型训练包括基于所述原始图像的显著性区域创建初始裁剪图，基于初始裁剪图，以网格锚的方式生成多个候选裁剪图，然后提取原始图像的特征，并利用显著性导向的感兴趣区域池化算子和显著性导向的丢弃区域池化算子对提取图像特征进行裁剪，得到感兴趣区域和丢弃区域的对准特征图；最后将对准特征图馈入能够预测裁剪图像美学分数的美学评价网络进行训练，并得到训练完备的所述裁剪模型。通过本申请，解决了现有技术中图像显著性信息利用不充分、模型可能存在过度拟合的问题。

技术领域

本申请涉及计算机视觉领域，特别是涉及一种显著性感知图像裁剪方法、装置、计算设备和存储介质。

背景技术

图像裁剪旨在找到具有最佳美学质量的图像裁剪物，被广泛使用于图像后期处理，视觉推荐和图像选择中。在需要裁剪大量图像时，图像裁剪变为了一项费力的工作。因此，近年来自动图像裁剪已经引起了研究界和行业内越来越多的关注。

早期的裁剪方法基于摄影知识（例如三分法和中心法等）明确设计了各种手工操作的特征。随着深度学习的发展，大量研究人员致力于以数据驱动的方式来开发裁剪方法，以及一些用于比较的基准数据集的发布,极大地促进了相关研究进展。

然而，获得最佳候选裁剪图依然是极其困难的，现有的图像裁剪技术中，显著性信息仅用于候选裁剪图的产生，图像显著性信息的潜力无法得到完全释放，模型可能存在过度拟合的问题。针对相关技术中存在图像显著性信息利用不充分、模型可能存在过度拟合的问题，目前还没有提出有效的解决方案。

发明内容

在本实施例中提供了一种显著性感知图像裁剪方法、装置、计算设备和存储介质，以解决相关技术中存在图像显著性信息利用不充分、模型可能存在过度拟合的问题。

第一个方面，在本实施例中提供了一种显著性感知图像裁剪方法，包括裁剪模型训练步骤和图像裁剪步骤，其中：

所述裁剪模型训练步骤包括：

获取原始图像，并基于所述原始图像的显著性区域创建初始裁剪图；

基于所述初始裁剪图，以网格锚的方式生成多个候选裁剪图，所述候选裁剪图在所述原始图像中的区域为感兴趣区域，所述原始图像中感兴趣区域以外的区域为丢弃区域；

提取所述原始图像的图像特征；

利用显著性导向的感兴趣区域池化算子和显著性导向的丢弃区域池化算子，对提取的所述图像特征进行裁剪，得到感兴趣区域和丢弃区域的对准特征图；

将所述对准特征图馈入美学评价网络进行训练，得到训练完备的所述裁剪模型；所述美学评价网络为能够预测裁剪图像美学分数的神经网络；

所述图像裁剪步骤包括：

将待裁剪的图像输入训练完备的所述裁剪模型，输出裁剪图像。

在其中的一些实施例中，所述基于所述原始图像的显著性区域创建初始裁剪图包括：

将所述原始图像输入预设的显著性目标检测模型，得到显著性边界框，基于所述显著性边界框，创建所述初始裁剪图。

在其中的一些实施例中，所述感兴趣区域池化算子为将显著性信息与可变形位置敏感ROI池化结合，并使用双线性差值计算的可变形的显著性位置敏感ROI对准算子；所述丢弃区域池化算子为将显著性信息与可变形位置敏感ROD池化结合，并使用双线性差值计算的可变形的显著性位置敏感ROD对准算子；

所述利用显著性导向的可变形的显著性位置敏感ROI对准算子和显著性导向的可变形的显著性位置敏感ROD对准算子，对提取的所述图像特征进行裁剪，得到对准特征图，包括：