[发明专利]利用神经网络进行目标分割的方法、设备和介质

权利要求书

1.一种神经网络，所述神经网络被配置用于接收当前图像、在先图像和所述在先图像的目标分割结果以预测所述当前图像的目标分割结果，所述目标分割结果用于指示对应的图像中的每一个像素的类别，所述神经网络包括：

第一子网络，所述第一子网络被配置为接收所述在先图像以生成所述在先图像的在先特征图；

所述第一子网络之后的第二子网络，所述第二子网络被配置为接收所述在先图像的在先特征图和所述在先图像的目标分割结果以生成所述在先图像的至少一组模板特征；

与所述第一子网络并列的第三子网络，所述第三子网络被配置为接收所述当前图像以生成所述当前图像的当前特征图；

所述第二子网络和所述第三子网络之后的第四子网络，所述第四子网络被配置为接收所述当前特征图和所述在先图像的至少一组模板特征，以生成空时信息特征图；以及

所述第四子网络之后的第五子网络，所述第五子网络被配置为接收所述空时信息特征图以生成所述当前图像的预测目标分割结果。

2.如权利要求1所述的神经网络，其中，所述每一个像素的类别能够表征该像素是否属于所述在先图像所包括的至少一个目标中的一个目标。

3.如权利要求1所述的神经网络，还包括：

第六子网络，所述第六子网络位于所述第四子网络与所述第五子网络之间，并被配置为接收所述空时信息特征图和所述在先图像的目标分割结果，以生成待处理特征图；以及

所述第五子网络被配置为接收所述待处理特征图以输出所述当前图像的预测目标分割结果。

4.如权利要求2所述的神经网络，其中，所述在先图像的至少一组模板特征与所述在先图像所包括的至少一个目标一一对应，并且其中，所述在先图像的至少一组模板特征中的每一组模板特征包括一个或多个模板特征。

5.如权利要求4所述的神经网络，其中，所述在先图像的至少一组模板特征中的每一组模板特征为对与该组模板特征对应的目标映射在所述特征图中的区域执行聚类算法而得到的。

6.如权利要求3所述的神经网络，所述第六子网络包括：

第一拼接层，被配置为接收所述空时信息特征图和所述在先图像的目标分割结果，并将所述空时信息特征图和该目标分割结果拼接为第一空间约束特征图；

所述第一拼接层之后的至少一个卷积层，被配置为接收所述第一空间约束特征图以生成第二空间约束特征图；以及

所述至少一个卷积层之后的点乘层，被配置为接收所述空时信息特征图和所述第二空间约束特征图，并将所述空时信息特征图和所述第二空间约束特征图进行点乘以生成所述待处理特征图。

7.如权利要求1所述的神经网络，其中，所述第四子网络包括：

相似度计算层，被配置为接收所述当前特征图和所述在先图像的至少一组模板特征，以生成所述当前特征图和所述在先图像中的至少一组模板特征的相似度计算结果；

所述相似度计算层之后的矩阵乘法层，被配置为接收所述相似度计算结果和所述在先图像的至少一组模板特征，以生成空时匹配特征图；以及

所述矩阵乘法层之后的第二拼接层，被配置为接收所述当前特征图和所述空时匹配特征图，并将所述当前特征图和所述空时匹配特征图拼接为所述空时信息特征图。

8.如权利要求1所述的神经网络，其中，所述在先图像和所述当前图像为同一个视频中的不同视频帧，其中，所述在先图像的拍摄时间早于所述当前图像。