[发明专利]实例分割方法及装置

说明书

本发明提供了一种实例分割方法及装置，所述实例分割方法包括：接收待处理图像；通过第一神经网络对所述待处理图像进行处理以生成第一特征张量；通过第二神经网络对所述第一特征张量进行处理以生成不同尺度的多个第二特征张量，其中每个所述第二特征张量表示相应尺度的所述待处理图像；以及通过第三神经网络对所述多个第二特征张量进行处理以实现对所述待处理图像的实例分割。根据本发明实施例的实例分割方法及装置基于包括新的网络组件的新的网络架构同时进行物体检测与图像分割，使得不需要使用图片金字塔就能够一次生成所有的物体分割，解决了多尺度问题，同时提高了算法的速度。

技术领域

本发明涉及图像处理技术领域，更具体地涉及一种实例分割方法及装置。

背景技术

物体检测和图像分割是两种不同的计算机视觉基础任务。物体检测要求算法把各种物体从图像中识别并定位出来，图像分割要求算法把图像的每一个像素加上类别标注。将物体检测和图像分割两者结合起来称为实例分割，实例分割要求算法找到每一个待检测的物体并把物体所在的像素标注出来。

现有的物体分割方法(例如DeepMask、SharpMask、Instance FCN等)在对图片中的实例(指图片中的待分割对象，例如人、车等)进行分割时通常包括如下步骤：首先，对待处理图像的尺度(scale)进行调整以形成包括多张不同尺度图片的图片金字塔；然后，利用神经网络(例如DeepMask网络)的身体网络(body module)从每个调整后的图片中提取全特征张量(full feature map)，从而得到多个尺度不同的特征张量；最后，利用固定尺度的滑动窗口(fixed-size sliding window)对该多个尺度不同的特征图进行操作得到对应数目的窗口特征张量，利用神经网络的头网络(head module)确定每个窗口特征张量的置信度并基于置信度完成分割操作。

现有的上述方法在解决实例分割时存在着两个问题：其一，在不依靠图片金字塔的情况下，无法解决多尺度问题，即，不能对同一输入图片中的不同尺度的物体同时进行分割而只能分割出图片中给定大小的物体；其二，由于待检测物体之间和背景对于待检测物体存在噪声的原因，在待分割物体十分拥挤的图片上分割效果表现不佳。

发明内容

为了解决上述问题中的至少一个而提出了本发明。根据本发明一方面，提供了一种实例分割方法，所述实例分割方法包括：接收待处理图像；通过第一神经网络对所述待处理图像进行处理以生成第一特征张量；通过第二神经网络对所述第一特征张量进行处理以生成不同尺度的多个第二特征张量，其中每个所述第二特征张量表示相应尺度的所述待处理图像；以及通过第三神经网络对所述多个第二特征张量进行处理以实现对所述待处理图像的实例分割。

在本发明的一个实施例中，所述第二神经网络包括至少两个子网络，每个子网络用于生成一种预定尺度的所述第二特征张量。

在本发明的一个实施例中，所述子网络之间是残余连接并共享参数的，后一个子网络基于前一个子网络的输出生成另一种预定尺度的所述第二特征张量。

在本发明的一个实施例中，基于所述后一个子网络生成的第二特征张量的尺度小于基于所述前一个子网络生成的第二特征张量的尺度。

在本发明的一个实施例中，所述子网络包括卷积层和池化层。

在本发明的一个实施例中，所述通过第三神经网络对所述多个第二特征张量进行处理以实现对所述待处理图像的实例分割包括：通过所述第三神经网络的滑动窗口分别从所述多个第二特征张量中提取相应的窗口特征张量；基于所述窗口特征张量生成所述滑动窗口中存在物体的置信度；以及基于所述置信度和所述窗口特征张量生成所述待处理图像的实例分割。