[发明专利]一种图片中天空区域的替换方法和装置以及设备

权利要求书

1.一种图片中天空区域的替换方法，其特征在于，包括：

采集把不同的包括天空要素的影像数据；

构建基于所述影像数据的全卷积语义分割模型；

采用全卷积语义分割网络对所述构建的全卷积语义分割模型进行训练；

根据所述训练后的全卷积语义分割模型，来对待替换的影像数据的天空要素、山峰要素、建筑要素、水面要素以及其他要素进行对应所述要素的语义识别，获取各要素语义蒙版；

对所述识别的天空素语义蒙版进行精细化，并对天空影像素材和待替换的影像数据进行前处理，以及依据经所述精细化的天空素语义蒙版和经所述前处理的天空影像素材、待替换的影像数据对所述待替换的影像数据进行所述天空要素的替换。

2.如权利要求1所述的图片中天空区域的替换方法，其特征在于，所述采用全卷积语义分割网络对所述构建的全卷积语义分割模型进行训练，包括：

采用全卷积语义分割网络对所述包括天空要素的影像数据中的每个影像的天空要素、山峰要素、建筑要素、水面要素以及其他要素进行要素打标，和从所述经精细化后的影像数据中提取出每个要素的图像特征，并从所述图像特征中提取出颜色特征、纹理特征、形状特征和空间关系特征作为全卷积语义分割网络的训练输入额方式，以及采用所述将颜色特征、纹理特征、形状特征和空间关系特征作为训练输入的全卷积语义分割网络对所述构建的全卷积语义分割模型进行训练。

3.如权利要求1所述的图片中天空区域的替换方法，其特征在于，所述根据所述训练后的全卷积语义分割模型，来对待替换的影像数据的天空要素、山峰要素、建筑要素、水面要素以及其他要素进行对应所述要素的语义识别，获取各要素语义蒙版，包括：

根据所述经训练后的全卷积语义分割模型，从待替换的影像数据中提取出颜色特征、纹理特征、形状特征和空间关系特征，将所述提取出的关联所述要素的颜色特征、纹理特征、形状特征和空间关系特征输入所述经训练后的全卷积语义分割模型，来对所述待替换的影像数据进行对应所述要素的预测，通过所述经训练后的全卷积语义分割模型得到预测的要素语义蒙版。

4.如权利要求1所述的图片中天空区域的替换方法，其特征在于，所述对所述识别的天空素语义蒙版进行精细化，并对天空影像素材和待替换的影像数据进行前处理，以及依据经所述精细化的天空素语义蒙版和经所述前处理的天空影像素材、待替换的影像数据对所述待替换的影像数据进行所述天空要素的替换，包括：

对所述天空要素语义蒙版进行形态学处理获得天空要素的边缘标记图；和统计边缘标记图的像素点，并通过要素语义对所述像素点中的前景像素点、背景像素点、未知要素点进行标记；以及利用所述标记的未知要素点与所述标记的前景区、背景区的像素点与进行组合，并根据损失函数的最小值对所述通过组合的像素点进行二次标记；和利用经二次标记的像素点细化所述天空要素语义蒙版；和利用半径阈值对所述细化的天空要素语义蒙版中标记的未知像素点进行统计，并根据损失函数的最小值对所述过组合的像素点进行三次标记；和利用经三次标记的像素点二次细化所述天空要素语义蒙版，并利用平滑滤波对所述二次细化的天空要素语义蒙版进行平滑处理；和根据所述天空影像素材对所述待替换的影像数据进行平均亮度调整，以及根据所述各要素语义蒙版的色彩权重对所述天空影像素材进行前处理；和经过所述前处理的天空影像素材依据所述天空要素语义蒙版对该经过平均亮度调整的待替换的影像数据中的天空要素进行替换。

5.一种图片中天空区域的替换装置，其特征在于，包括：

获取模块、构建模块、训练模块、预测模块和要素替换模块；

所述获取模块，用于采集把不同的包括天空要素的影像数据；

所述构建模块，用于构建基于所述影像数据的全卷积语义分割模型；

所述训练模块，用于采用全卷积语义分割网络对所述构建的全卷积语义分割模型进行训练；

所述预测模块，用于根据所述训练后的全卷积语义分割模型，来对待替换的影像数据的天空要素、山峰要素、建筑要素、水面要素以及其他要素进行对应所述要素的语义识别，获取各要素语义蒙版；

要素替换模块：用于基于所述识别的各要素语义蒙版以及天空影像素材进行所述待替换的影像数据的天空要素的替换。