[发明专利]实例分割方法及装置

权利要求书

1.一种实例分割方法，其特征在于，所述实例分割方法包括：

接收待处理图像；

通过第一神经网络对所述待处理图像进行处理以生成第一特征张量；

通过第二神经网络对所述第一特征张量进行处理以生成不同尺度的多个第二特征张量，其中每个所述第二特征张量表示相应尺度的所述待处理图像；以及

通过第三神经网络对所述多个第二特征张量进行处理以实现对所述待处理图像的实例分割；

其中，所述通过第三神经网络对所述多个第二特征张量进行处理以实现对所述待处理图像的实例分割包括：通过所述第三神经网络的滑动窗口分别从所述多个第二特征张量中提取相应的窗口特征张量；基于所述窗口特征张量生成所述滑动窗口中存在物体的置信度，选择存在物体的置信度大于预定阈值的窗口特征张量作为有效窗口特征张量；基于每个所述有效窗口特征张量生成相应的注意力矩阵，其中所述注意力矩阵包括相应的所述有效窗口特征张量上的每一点位于待检测物体所在区域内的置信度值；将每个所述注意力矩阵广播乘相应的所述有效窗口特征张量以生成第三特征张量；以及基于所述第三特征张量生成所述待处理图像的实例分割；

或者其中，所述通过第三神经网络对所述多个第二特征张量进行处理以实现对所述待处理图像的实例分割包括：通过所述第三神经网络的滑动窗口分别从所述多个第二特征张量中提取相应的窗口特征张量；基于每个所述窗口特征张量生成相应的注意力矩阵和所述滑动窗口中存在物体的置信度，其中所述注意力矩阵包括相应的所述窗口特征张量上的每一点位于待检测物体所在区域内的置信度值；将每个所述注意力矩阵广播乘相应的所述窗口特征张量以生成第三特征张量；以及基于所述第三特征张量以及所述滑动窗口中存在物体的置信度生成所述待处理图像的实例分割。

2.根据权利要求1所述的实例分割方法，其特征在于，所述第二神经网络包括至少两个子网络，每个子网络用于生成一种预定尺度的所述第二特征张量。

3.根据权利要求2所述的实例分割方法，其特征在于，所述子网络之间是残余连接并共享参数的，后一个子网络基于前一个子网络的输出生成另一种预定尺度的所述第二特征张量。

4.根据权利要求3所述的实例分割方法，其特征在于，基于所述后一个子网络生成的第二特征张量的尺度小于基于所述前一个子网络生成的第二特征张量的尺度。

5.根据权利要求2所述的实例分割方法，其特征在于，所述子网络包括卷积层和池化层。

6.根据权利要求1所述的实例分割方法，其特征在于，所述注意力矩阵通过由全连接层组成的注意力生成器而生成。

7.根据权利要求1所述的实例分割方法，其特征在于，所述第三神经网络中还包括上采样层，所述上采样层用于提高所生成的实例分割结果的分辨率。