[发明专利]图像自动裁剪方法、系统、电子设备及存储介质

说明书

本发明提供一种图像自动裁剪方法、系统、电子设备及存储介质，该方法包括：获取第一、第二样本集；获取不同构图方式下不同图像类别对应的目标权重向量；根据第二样本集，对图像美学评估网络进行训练；获取目标图像，利用语义分割模型对目标图像进行处理，得到目标图像中各个像素的图像类别向量；获取目标图像在不同构图方式下的重心；按照裁剪比例，以目标图像在不同构图方式下的重心为中心，对目标图像进行裁剪得到多个侯选裁剪图像；利用图像美学评估网络对多个侯选裁剪图像进行处理，得到多个侯选裁剪图像对应的预测美学评分，并将评分最高的侯选裁剪图像作为目标裁剪图像。本发明能够提高图像展示的准确性，且能满足图像的美学展示需求。

技术领域

本发明涉及图像处理领域，尤其涉及一种图像自动裁剪方法、系统、电子设备及存储介质。

背景技术

图像可保证信息的直观表示与传达，因此在在线旅游公司(OTA)中大规模应用，有效准确地展示图像能极大地提升用户体验，从而提高用户的转化率。由于OTA图像来源通常比较复杂，而图像位尺寸是固定的，常常发生原图尺寸与图像位尺寸不一致的情况。如何有效地适应图像位并合理美观地展示图像是当前急需解决的问题。

传统地，OTA平台为适应图像位，默认对图像进行居中裁剪，该方法未考虑图像内容和图像的美学指标，因此存在关键内容被裁剪出展示区域的情况，并且居中裁切未考虑美感因素，用户体验不佳。

对此，发展了显著目标法和美学滑窗法两种图像自动裁剪方法。然而，显著目标法虽考虑了图像内容，但缺少对图像美学质量的考虑；美学滑窗法虽考虑了图像的美学指标，但计算量太大、效率低，两者都难以满足更复杂且个性化的图像裁切要求。因而有效地挖掘出图像的主要内容并结合美学因素对于自动化裁剪具有重要意义。

深度学习网络可基于海量数据进行表征学习，避免了复杂的手工特征设计，可保证图像信息的高效识别。近年来，随着卷积神经网络的兴起和计算机计算能力的增强，利用深度学习对图像进行自动化处理的效果得到极大提高。

基于此，本发明亟待提供一种基于深度学习的图像自动裁剪方法，能够结合内容理解与美学评价，保证关键内容的有效保留，且能满足图像的美学展示需求。

发明内容

针对上述现有技术的不足，本发明的目的在于提供一种图像自动裁剪方法、系统、电子设备及存储介质，以在提高图像展示的准确性，且能满足图像的美学展示需求的前提下，对图像进行智能裁剪。

为了实现上述目的，本发明提供一种图像自动裁剪方法，该方法包括：

获取第一样本集和第二样本集，所述第一样本集包含若干以不同构图方式得到的第一样本图像，且每个所述第一样本图像分别标注有对应的标准中心位置，所述第二样本集包含若干第二样本图像，且每个所述第二样本图像分别标注有对应的标准美学评分；

以预先定义的不同构图方式下不同图像类别对应的权重向量为权重因子，构建机器学习模型；

根据不同构图方式下的所述第一样本图像以及对应的标准中心位置，分别对所述机器学习模型的权重因子进行训练，得到不同构图方式下不同图像类别对应的目标权重向量；

根据所述第二样本集，对预设的图像美学评估网络进行训练；

获取目标图像，并利用预先训练的语义分割模型对所述目标图像进行处理，得到所述目标图像中各个像素的图像类别向量；

根据所述目标图像中各个像素的图像类别向量、以及不同构图方式下不同图像类别对应的目标权重向量，获取所述目标图像在不同构图方式下的重心；

按照预定裁剪比例，以所述目标图像在不同构图方式下的重心为中心，分别对所述目标图像进行裁剪，得到多个侯选裁剪图像；