[发明专利]图像分割方法及装置

说明书

本说明书实施例提供一种图像分割方法，包括：响应于用户针对图像区域做出的点击操作，确定表征点击位置的第一编码图；分别从原始图像、第一编码图和已有掩膜图中截取对应第一区域的部分，并将其输入第一语义分割模型，得到第一预测掩膜，以及所述第一区域的语义表征；其中所述第一区域是所述图像区域中包含已有掩膜的局部区域；通过比对所述第一预测掩膜和已有掩膜，确定包含差异掩膜的第二区域；分别从所述原始图像、第一编码图、第一预测掩膜和语义表征中截取对应第二区域的部分，并将其输入第二语义分割模型，得到第二预测掩膜，用于更新已有掩膜。

技术领域

本说明书一个或多个实施例涉及机器学习技术领域，尤其涉及一种图像分割方法及装置。

背景技术

图像分割(image segmentation)技术是计算机视觉(Computer Vision)领域的重要研究方向，是指将图像分成若干具有相似性质区域的过程。

随着机器学习(machine learning)技术的兴起，提出基于深度学习(deeplearning)的交互式图像分割，仅需用户进行少量的前景或背景点击，即可由模型预测出完整的图像掩膜，实现目标抠图。参见图1，用户进行图像前景点击，以十字形符号101示意点击的位置，据此，深度学习模型预测出前景掩膜，以斜线阴影102示意，从而完成对苹果区域103的抠图，需理解，图1中各虚线框仅用于辅助示意。

然而，目前基于深度学习的交互式分割方案难以满足实际应用需求。因此，需要一种方案，可以满足实际应用需求，包括提高计算速度，以降低用户等待时长，或者，降低对计算资源的要求等。

发明内容

本说明书一个或多个实施例描述了一种图像分割方法及装置，通过局部粗分割和精修，在保证抠图精准度的同时，有效降低计算量，实现快速抠图。

根据第一方面，提供一种图像分割方法，包括：响应于用户针对图像区域做出的点击操作，确定表征点击位置的第一编码图；分别从原始图像、第一编码图和已有掩膜图中截取对应第一区域的部分，并将其输入第一语义分割模型，得到第一预测掩膜，以及所述第一区域的语义表征；其中所述第一区域是所述图像区域中包含已有掩膜的局部区域；通过比对所述第一预测掩膜和已有掩膜，确定包含差异掩膜的第二区域；分别从所述原始图像、第一编码图、第一预测掩膜和语义表征中截取对应第二区域的部分，并将其输入第二语义分割模型，得到第二预测掩膜，用于更新已有掩膜。

在一个实施例中，所述第一编码图包括针对前景和背景的两张编码图；其中，确定表征点击位置的第一编码图，包括：将所述图像区域中对应点击位置和其他位置的像素块编码为不同码值，得到与所述点击操作所针对的前景或背景相对应的编码图；并且，将所述图像区域中的像素块编码为同一码值，得到另一编码图。

在一个实施例中，在分别从原始图像、第一编码图和已有掩膜图中截取对应第一区域的部分之前，所述方法还包括：确定所述图像区域中包含所述已有掩膜且具有预设形状的最小面积区域；对所述最小面积区域进行预设倍数的放大，作为所述第一区域。

在一个实施例中，在分别从原始图像、第一编码图和已有掩膜图中截取对应第一区域的部分之前，所述方法还包括：在所述已有掩膜为无的情况下，将所述图像区域确定为所述第一区域。

在一个实施例中，在将其输入第一语义模型之前，所述方法还包括：从表征所述图像区域的历史点击位置的编码矩阵中截取对应所述第一区域的部分。

在一个实施例中，所述第一语义分割模型包括表征层和预测层；其中，将其输入第一语义分割模型，得到第一预测掩膜，以及所述第一区域的语义表征，包括：利用所述表征层处理所述第一语义分割模型的输入，得到所述语义表征；利用所述预测层处理所述语义表征，得到所述第一预测掩膜。