[发明专利]一种图像分割方法、装置及终端设备

说明书

本申请公开了一种图像分割方法、装置及终端设备，获得目标物体在场景中的彩色图像和深度图像；从深度图像确定目标物体对应的最小外接矩形；利用深度图像和彩色图像之间各像素点映射关系，从彩色图像获得最小外接矩形对应的彩色目标图像；利用图像分割模型对彩色目标图像进行分割，获得分割后图像；模型包括深度可分离卷积结构，反向残差与线性瓶颈卷积结构，及Xception网络的残差结构。因模型计算量少且需要处理的图像尺寸小，所以模型运行速度较快，可在手机等CPU处理能力较弱的终端设备上实现实时进行图像分割。对彩色目标图像进行图像分割降低了图像分割难度，同时模型表达能力强，损失的细节信息少，提升图像分割精细度，实现精细抠图。

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像分割方法、装置及终端设备。

背景技术

图像处理技术广泛应用于传媒、科研和工业设计等诸多领域。图像分割技术属于图形处理技术中的一种，图像分割的目的是将图像分成若干个特定的、具有独特性质的区域，并提取出感兴趣目标。

目前存在一些基于图像分割的传统抠图方法，例如Closed Form方法、WalkMatting方法，Nonlocal Matting方法和Shared Sampling方法等，但是这些方法真正应用到视频流中效果欠佳。Facebook公司发明了Mask RCNN这种基于深度学习的网络用于抠图，但是该网络非常大，需要处理能力很强的中央处理器(Central Processing Unit,CPU)才能够实时应用。

随着手机功能的不断发展，越来越多的用户倾向于使用手机这种小型且便携的设备实现抠图。例如，用户希望借助手机将视频中的人物抠取出来与某图片相结合，生成新的图片。须知，手机的CPU处理功能明显弱于个人电脑(Personal Computer,PC)，因此应用Mask RCNN网络无法进行实时抠图。尽管目前也存在一些轻量级的模型适用于手机端进行抠图，例如谷歌公司提供的Mobilenet v2，但是分割目标的轮廓精细度较差。因此，手机等CPU处理功能较弱的终端设备难以实现实时精细抠图已经成为本领域面临的严峻技术问题。

发明内容

基于上述问题，本申请提供了一种图像分割方法、装置及终端设备，在手机等CPU处理功能较弱的设备实现实时精细抠图。

本申请实施例公开了如下技术方案：

第一方面，本申请提供一种图像分割方法，包括：

获得目标物体在场景中的彩色图像和深度图像；

从所述深度图像中确定所述目标物体对应的最小外接矩形；

利用所述深度图像和所述彩色图像之间各像素点的映射关系，从所述彩色图像获得所述最小外接矩形对应的彩色目标图像；

利用图像分割模型对所述彩色目标图像进行分割，获得分割后图像；所述图像分割模型，包括：深度可分离卷积结构，反向残差与线性瓶颈卷积结构，以及Xception网络的残差结构。

可选地，在所述利用图像分割模型对所述彩色目标图像进行分割之前，所述方法还包括：

确定所述图像分割模型允许分割的图像的尺寸和长宽比；

根据所述长宽比对所述彩色目标图像进行裁剪，获得裁剪后的图像；

根据所述尺寸将所述裁剪后的图像进行缩小处理，得到缩小后的图像；

所述利用图像分割模型对所述彩色目标图像进行分割，具体包括：

利用图像分割模型对所述缩小后的图像进行分割。

可选地，在所述根据所述尺寸将所述裁剪后的图像进行缩小处理，得到缩小后的图像之后，所述方法还包括：

对所述缩小后的图像进行归一化处理，获得归一化后的图像；