[发明专利]用于翡翠图像分割的方法及模型训练方法

权利要求书

1.一种用于翡翠图像分割的方法，其特征在于，包括：

响应于获取到包含翡翠图像的原始图像，将所述原始图像输入至基于机器学习预训练的第一网络模型中，以使所述第一网络模型对所述原始图像进行分割，输出包含无背景图的初始翡翠图像；

将所述初始翡翠图像输入至基于机器学习预训练的第二网络模型中，以使所述第二网络模型对所述初始翡翠图像的高光区域图像进行分割，输出不包含高光区域图像的翡翠图像；

所述响应于获取到原始图像，将所述原始图像输入至基于机器学习预训练的第一网络模型中，以使所述第一网络模型对所述原始图像进行分割，输出包含无背景图的初始翡翠图像包括：响应于获取到视频中每一帧的图像，确定视频中所有帧的图像中满足预设条件的图像；将所述满足预设条件的图像输入至基于机器学习预训练的第一网络模型中，以使所述第一网络模型对所述原始图像进行分割，输出包含无背景图的初始翡翠图像；通过以下两种方式之一确定满足预设条件的图像：基于预设的图像质量评分策略，确定质量最优的图像；基于视频帧中的多个不同角度的图像进行综合处理，确定可输入至第一网络模型中的图像；

在输入至第一网络模型之前首先对原始图像进行预处理：通过零填充缩放成513*513大小格式，在得到初始翡翠图像之后，利用PointRend算法，对初始翡翠图像利用渲染做填充区域，迭代上采样，针对初始翡翠图像的边缘进行优化；

所述第一网络模型的模型训练方法，包括：对原始图像集中每一张包含翡翠的原始图像预处理，得到原始图像中翡翠图像的掩膜；将作为正样本的所述掩膜和作为负样本的所述原始图像集中不包含翡翠的原始图像按照3：1的数量比输入至语义分割网络模型中，以训练所述语义分割网络模型识别图像中的背景区域图像和翡翠图像，并将背景区域图像和翡翠图像分割；

其中，所述对原始图像集中每一张包含翡翠的原始图像预处理，得到原始图像中翡翠图像的掩膜包括：基于预设的策略，对所述原始图像的翡翠图像与背景图像进行分割并去除背景图像，得到翡翠图像；基于二值化处理策略，提取翡翠图像的掩膜；

其中，将作为正样本的所述掩膜和作为负样本的所述原始图像集中不包含翡翠的原始图像按照预设的数量比输入至语义分割网络模型中，以训练所述语义分割网络模型识别图像中的背景区域图像和非背景区域图像包括：配置所述语义分割网络模型的结构；将作为正样本的所述掩膜和作为负样本的所述原始图像集中不包含翡翠的原始图像按照预设的数量比输入至语义分割网络模型中；训练所述语义分割网络模型，以使所述语义分割网络模型识别图像中的背景区域图像和非背景区域图像；

语义分割网络模型的结构采用deeplabV3的网络结构，首先对语义分割网络模型的结构进行配置，包括：将骨干模型替换成mobilenet骨干模型；在不同的卷积层中使用不同的空洞率atrous rate，当输出步长output＿stride＝16时atrous＿rates为[6，12，18]，采用批尺寸batchsize＝32；采用输出步长output＿stride＝8时，atrous＿rates为[12，24，36]，batchsize为16；

第二网络模型的模型训练方法，包括：获取与背景区域图像分割的翡翠图像；基于图像高光估计算法，选取所述翡翠图像的高光区域图像；将作为正样本的所述高光区域图像和作为负样本的非高光翡翠图像按照3：1的数量比输入至第一语义分割模型中，以训练所述第一语义分割模型识别翡翠图像中的高光区域图像和非高光区域图像，并将高光区域图像和非高光区域图像进行分割；

其中，将作为正样本的所述高光区域图像和作为负样本的非高光翡翠图像按照预设的数量比输入至第一语义分割模型中，以训练所述第一语义分割模型识别翡翠图像中的高光区域图像和非高光区域图像，并将高光区域图像和非高光区域图像进行分割包括：配置所述第一语义分割模型的结构；将作为正样本的所述高光区域图像和作为负样本的非高光翡翠图像按照预设的数量比输入至第一语义分割模型中，以训练所述第一语义分割模型识别翡翠图像中的高光区域图像和非高光区域图像，并将高光区域图像和非高光区域图像进行分割；

第一语义分割模型使用多卡模型，将3x3的空洞卷积替换成1x1的空洞卷积，训练模型是采用poly策略，在初始学习率基础上，乘以(1-itermax_iter)＾power，其中power为0.9，itermax_iter为迭代次数与最大迭代次数的比值，dropout系数为0.8；在不同的卷积层中使用不同的空洞率atrous rate，当输出步长output＿stride＝16时，atrous＿rates为[6，12，18]，采用batchsize＝32；采用输出步长output＿stride＝8时，atrous＿rates为[12，24，36]，batchsize为16。