[发明专利]一种图片中天空区域的替换方法和装置以及设备

说明书

本发明公开了一种图片中天空区域的替换方法。其中，包括：采集把不同的包括天空要素的影像数据；构建基于影像数据的全卷积语义分割模型；采用全卷积语义分割网络对构建的全卷积语义分割模型进行训练；根据训练后的全卷积语义分割模型，来对待替换的影像数据的天空要素、山峰要素、建筑要素、水面要素以及其他要素进行对应要素的语义识别，获取各要素语义蒙版；对识别的天空素语义蒙版进行精细化，并对天空影像素材和待替换的影像数据进行前处理，以及依据经精细化的天空素语义蒙版和经前处理的天空影像素材、待替换的影像数据对待替换的影像数据进行天空要素的替换。能够实现边缘精细化分割以及替换的天空与原图其他要素的色彩、亮度相匹配。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图片中天空区域的替换方法和装置以及设备。

背景技术

在户外摄影中，天空作为拍摄背景，对照片整体质量有较大影响，而天空受到天气条件的限制，属于不可控因素。天空替换算法主要是通过分割图像中的天空区域，并选择想要的天空背景进行替换。

目前的天空替换算法通过传统或深度学习的方法，分割出天空区域，然后直接选择所需天空背景进行替换。这种方式主要存在两种缺陷：(1)天空蒙版多是采用下采样的原图通过分割算法获得，因此边缘不够精细。(2)在替换天空时，忽略了天空色彩与亮度对前景的影响，导致在完成天空替换后的图像中，新的天空背景与前景色彩与亮度不匹配。以上两个缺陷都会导致图像无法获得柔和自然的换天效果。

发明内容

有鉴于此，本发明的目的在于提出一种图片中天空区域的替换方法和装置以及设备，能够实现边缘精细化分割以及替换的天空与原图其他要素的色彩、亮度相匹配。

根据本发明的一个方面，提供一种图片中天空区域的替换方法，包括：采集把不同的包括天空要素的影像数据；构建基于所述影像数据的全卷积语义分割模型；采用全卷积语义分割网络对所述构建的全卷积语义分割模型进行训练；根据所述训练后的全卷积语义分割模型，来对待替换的影像数据的天空要素、山峰要素、建筑要素、水面要素以及其他要素进行对应所述要素的语义识别，获取各要素语义蒙版；对所述识别的天空素语义蒙版进行精细化，并对天空影像素材和待替换的影像数据进行前处理，以及依据经所述精细化的天空素语义蒙版和经所述前处理的天空影像素材、待替换的影像数据对所述待替换的影像数据进行所述天空要素的替换。

根据本发明的另一个方面，提供一种图片中天空区域的替换装置，包括：获取模块、构建模块、训练模块、预测模块和要素替换模块；所述获取模块，用于采集把不同的包括天空要素的影像数据；所述构建模块，用于构建基于所述影像数据的全卷积语义分割模型；所述训练模块，用于采用全卷积语义分割网络对所述构建的全卷积语义分割模型进行训练；所述预测模块，用于根据所述训练后的全卷积语义分割模型，来对待替换的影像数据的天空要素、山峰要素、建筑要素、水面要素以及其他要素进行对应所述要素的语义识别，获取各要素语义蒙版；要素替换模块：用于基于所述识别的各要素语义蒙版以及天空影像素材进行所述待替换的影像数据的天空要素的替换。

根据本发明的又一个方面，提供一种图片中天空区域的替换设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任一项所述的图片中天空区域的替换方法。

根据本发明的再一个方面，提供一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述任一项所述的图片中天空区域的替换方法。