[发明专利]高分辨率图像分割的端到端网络模型

权利要求书

1.一种计算系统，包括：

至少一个处理器；

机器学习的图像分割模型，包括：

语义分割神经网络，其中训练语义分割神经网络以接收图像，并响应于图像的接收，输出语义分割掩码；以及

边缘细化神经网络，其中训练边缘细化神经网络以接收图像的至少一部分和语义分割掩码的至少一部分，并且响应于图像的至少一部分和语义分割掩码的至少一部分的接收，输出细化的语义分割掩码；以及

至少一个有形的非暂时性计算机可读介质，其存储指令，该指令在由所述至少一个处理器执行时使所述至少一个处理器执行操作，所述操作包括：

获得图像；

将图像输入到语义分割神经网络中；

接收语义分割掩码作为语义分割神经网络的输出；

将图像的至少一部分和语义分割掩码的至少一部分输入到边缘细化神经网络中；以及

接收细化的语义分割掩码作为边缘细化神经网络的输出。

2.根据权利要求1所述的计算系统，其中，所述操作还包括：

至少部分地基于细化的语义分割掩码来模糊图像的至少一部分。

3.根据权利要求1或2所述的计算系统，其中，所述图像包括高分辨率图像；并且

其中，将图像输入到语义分割神经网络中包括：

将高分辨率图像缩小为低分辨率图像；以及

将低分辨率图像输入到语义分割神经网络中。

4.根据权利要求3所述的计算系统，其中，接收语义分割掩码作为语义分割神经网络的输出包括：

接收低分辨率语义分割掩码作为语义分割神经网络的输出。

5.根据权利要求4所述的计算系统，其中将所述语义分割掩码的至少一部分输入到所述边缘细化神经网络中还包括：

将低分辨率语义分割掩码提升为高分辨率语义分割掩码；以及

将高分辨率语义分割掩码的至少一部分输入到边缘细化神经网络中。

6.根据权利要求4至5中任一项所述的计算系统，其中，将所述图像的至少一部分输入到所述边缘细化神经网络中包括：将所述高分辨率图像的至少一部分输入到所述边缘细化神经网络中。

7.根据权利要求1-2,4-5中任一项所述的计算系统，其中，将所述图像的至少一部分输入到所述边缘细化神经网络中包括：将所述图像的至少一部分输入到所述边缘细化神经网络的第一编码器网络中；以及

其中将语义分割掩码的至少一部分输入到边缘细化神经网络中包括：将语义分割掩码的至少一部分输入到边缘细化神经网络的第二编码器网络中。

8.根据权利要求7所述的计算系统，其中将所述图像的至少一部分和所述语义分割掩码的至少一部分输入所述边缘细化神经网络还包括：

从第一编码器网络接收第一编码输出；

从第二编码器网络接收第二编码输出；以及

将第一编码输出和第二编码输出级联为级联编码输出。

9.根据权利要求8所述的计算系统，其中将所述图像的至少一部分和所述语义分割掩码的至少一部分输入到所述边缘细化神经网络中还包括：

将级联的编码输出提供给所述边缘细化神经网络的解码器网络；以及

其中，接收所述细化的语义分割掩码作为所述边缘细化神经网络的输出包括：接收所述细化的语义分割掩码作为所述解码器网络的输出。

10.根据权利要求1-2,4-5,8-9中任一项所述的计算系统，其中，所述计算系统包括用户计算设备。

11.根据权利要求1-2,4-5,8-9中任一项所述的计算系统，其中，至少部分地基于所述图像分割模型的总损失函数来从端到端训练所述图像分割模型。